kafka安装使用

安装jdk

依赖java，需要先安装jdk

centos 下：

yum install java-1.8.0-openjdk.x86_64 -y

安装kafka

直接从官网下载解压，就能直接运行了

wget https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.12-2.8.0.tgz
tar zxvf kafka_2.11-2.3.1.tgz

使用

启动zookeeper

./zookeeper-server-start.sh -daemon config/zookeeper.properties

启动kafka server

./kafka-server-start.sh config/server.properties

创建topic

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic lv_topic_test

查看所有创建的topic

./kafka-topics.sh --list --zookeeper localhost:2181

查看某个topic详细信息

./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test_topic

删除topic

./kafka-topics.sh --delete --zookeeper localhost:2181 --topic lv_test_topic

topic 生产脚本

./kafka-console-producer.sh --broker-list localhost:9092 --topic lv_topic_test

topic批量导入数据

./kafka-console-producer.sh --broker-list mini01:9092 --topic lv_test < txt.info

topic 消费脚本

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

查看所有组id

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --list

查看特定组详细信息

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group test_group_id --describe