Demo kết nối Kafka Bizfly Cloud với Kafka CLI
Yêu cầu
- Thiết bị có kết nối Internet và telnet được tới địa chỉ của Cluster
- Thiết bị cần cài đặt Java 8+
Cài đặt
Tải Kafka về máy và giải nén
wget https://archive.apache.org/dist/kafka/3.8.0/kafka_2.13-3.8.0.tgz && tar -xzf kafka_2.13-3.8.0.tgz && cd kafka_2.13-3.8.0
File config
bootstrap.servers=<địa chỉ kết nối tới cluster> # ví dụ: localhost:9092,localhost:9093,localhost:9094
security.protocol=SASL_PLAINTEXT
sasl.mechanism=<SASL Mechanism đã chọn> # SCRAM-SHA-256 hoặc SCRAM-SHA-512
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required \
username="<username>" \
password="<password>";
client.id=<tên client khi kết nối tới cluster> # có thể đặt giống với username
request.timeout.ms=30000
retries=5
sau khi thay đổi các thông tin lưu file lại với đuổi .properties
1 số lệnh sử dụng cơ bản
- Tạo topic
bin/kafka-topics.sh --create --topic <tên topic> --bootstrap-server <địa chỉ kết nối tới cluster> --command-config <file config>.properties
- Xem danh sách topic trên Cluster
bin/kafka-topics.sh --list --bootstrap-server <địa chỉ kết nối tới cluster> --command-config <file config>.properties
- Xóa topic
bin/kafka-topics.sh --delete --topic <tên topic> --bootstrap-server <địa chỉ kết nối tới cluster> --command-config <file config>.properties
- Gửi message tới topic (Producer)
bin/kafka-console-producer.sh --topic <tên topic> --bootstrap-server <địa chỉ kết nối tới cluster> --producer.config <file config>.properties
- Nhận message từ topic (Consumer)
bin/kafka-console-consumer.sh --topic <tên topic> --group <tên consumer group> --from-beginning --bootstrap-server <địa chỉ kết nối tới cluster> --consumer.config <file config>.properties