Demo kết nối Kafka Bizfly Cloud với Kafka CLI

Yêu cầu

  • Thiết bị có kết nối Internet và telnet được tới địa chỉ của Cluster
  • Thiết bị cần cài đặt Java 8+

Cài đặt

Tải Kafka về máy và giải nén

wget https://archive.apache.org/dist/kafka/3.8.0/kafka_2.13-3.8.0.tgz && tar -xzf kafka_2.13-3.8.0.tgz && cd kafka_2.13-3.8.0

File config

bootstrap.servers=<địa chỉ kết nối tới cluster> # ví dụ: localhost:9092,localhost:9093,localhost:9094

security.protocol=SASL_PLAINTEXT
sasl.mechanism=<SASL Mechanism đã chọn> # SCRAM-SHA-256 hoặc SCRAM-SHA-512
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required \
  username="<username>" \
  password="<password>";

client.id=<tên client khi kết nối tới cluster> # có thể đặt giống với username
request.timeout.ms=30000
retries=5

sau khi thay đổi các thông tin lưu file lại với đuổi .properties

1 số lệnh sử dụng cơ bản

  • Tạo topic
bin/kafka-topics.sh --create --topic <tên topic> --bootstrap-server <địa chỉ kết nối tới cluster> --command-config <file config>.properties
  • Xem danh sách topic trên Cluster
bin/kafka-topics.sh --list --bootstrap-server <địa chỉ kết nối tới cluster> --command-config <file config>.properties
  • Xóa topic
bin/kafka-topics.sh --delete --topic <tên topic> --bootstrap-server <địa chỉ kết nối tới cluster> --command-config <file config>.properties
  • Gửi message tới topic (Producer)
bin/kafka-console-producer.sh --topic <tên topic> --bootstrap-server <địa chỉ kết nối tới cluster> --producer.config <file config>.properties
  • Nhận message từ topic (Consumer)
bin/kafka-console-consumer.sh --topic <tên topic> --group <tên consumer group> --from-beginning --bootstrap-server <địa chỉ kết nối tới cluster> --consumer.config <file config>.properties