Fluentbit

Fluentbit là agent có thể thu thập và push logs, metrics lên Bizfly Cloud Observability.

Chuẩn bị

Để push logs, metrics lên Bizfly Cloud Observability bạn cần có endpoint và bearer token để authen khi push.

Bạn có thể có token bằng cách tạo hoặc reset token.
Để lấy endpoint cho việc push logs, metrics bạn có thể tham khảo hướng dẫn sau.
Đã tạo Grafana user và có thể truy cập Grafana dashboard.

Push logs

Dưới đây là cấu hình minh họa cho Fluentbit để thu thập log từ file /log/gdnsd.log rồi push logs lên service Loki của Bizfly Cloud Observability.

Bước 1: Cấu hình

Tạo file config.conf và paste nội dung config sau:

  [INPUT]
      name tail
      path /log/gdnsd.log
      tag  gdnsd.log
  [OUTPUT]
      name  loki
      match *
      host   obs-xxxxxxxx-xxxx-xxxx-xxxx.obs.bfcplatform.vn
      uri     /loki/api/v1/push
      tls     on
      port    443
      bearer_token    YOUR_LOGS_TOKEN
      Labels job=fluentbit

Bước 2: Run

  docker run -d -v $YOUR_FOLDER/:/config -v /log/gdnsd.log:/log/gdnsd.log --name fluentbit --network host cr.fluentbit.io/fluent/fluent-bit --config=/config/fluentbit-config.conf

Bước 3. Xem kết quả trên Grafana dashboard

Để xem kết quả push logs trên Grafana dashboard của Bizfly Cloud Observability. Bạn có thể tham khảo hướng dẫn sau

Push metrics

Dưới đây là các bước và ví dụ cấu hình Fluentbit để thu thập metrics từ 127.0.0.1:8000/metrics rồi push metrics lên service Mimir của Bizfly Cloud Observability.

Bước 1: Cấu hình

Tạo file config.conf và paste nội dung config sau:

  [INPUT]
      name prometheus_scrape
      host 127.0.0.1
      port 8000
      tag node_metrics 
      metrics_path /metrics
      scrape_interval 2
  [OUTPUT]
      Name                 prometheus_remote_write
      Match                node_metrics
      Host                 obs-xxxxxxxx-xxxx-xxxx-xxxx.obs.bfcplatform.vn
      Port                 443
      Uri                  /api/v1/push
      header Authorization Bearer YOUR_METRICS_TOKEN
      Log_response_payload True
      Tls                  On
      Tls.verify           On
      # add user-defined labels
      add_label            app fluent-bit
      add_label            color blue

Bước 2: Run

  docker run -d -v $YOUR_FOLDER/:/config -v /log/gdnsd.log:/log/gdnsd.log --name fluentbit --network host cr.fluentbit.io/fluent/fluent-bit --config=/config/fluentbit-config.conf

Bước 3. Xem kết quả trên Grafana dashboard

Để xem kết quả push metrics trên Grafana dashboard của Bizfly Cloud Observability. Bạn có thể tham khảo hướng dẫn sau

Vector Opentelemetry Collector