kafka 常用命令
创始人
2025-01-10 06:36:55
0次

1 集群操作

1.1 启动集群

  1. 在每个设备启动Zookeeper:
    bin/zookeeper-server-start.sh config/zookeeper.properties 
    若不想显示日志信息:
    bin/zookeeper-server-start.sh config/zookeeper.properties > /dev/null 2>&1 & 
  2. 在每个设备启动Kafka服务器:
    bin/kafka-server-start.sh config/server.properties 
    若不想显示日志信息:
    bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 & 

1.2 关闭集群

  1. 在每个设备关闭Kafka服务器:
    bin/kafka-server-stop.sh 
  2. 在每个设备关闭Zookeeper:
    bin/zookeeper-server-stop.sh 

1.3 检查Kafka状态

查看Kafka服务的状态可以使用kafka-broker-api-versions.sh:

bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092 

1.4 重新分配分区

重新分配分区通常用于扩展Kafka集群时,将主题的分区重新分配到新的broker上。使用以下步骤进行分区重新分配:

  1. 生成重新分配方案:
    bin/kafka-reassign-partitions.sh --generate --zookeeper localhost:2181 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2" 
  2. 执行重新分配:
    bin/kafka-reassign-partitions.sh --execute --zookeeper localhost:2181 --reassignment-json-file reassignment.json 
  3. 查看重新分配状态:
    bin/kafka-reassign-partitions.sh --verify --zookeeper localhost:2181 --reassignment-json-file reassignment.json 

1.5 查看ZooKeeper中的Kafka数据

你可以使用ZooKeeper的命令行客户端zkCli.sh来查看Kafka在ZooKeeper中的数据:

bin/zookeeper-shell.sh localhost:2181 

进入ZooKeeper shell后,可以使用以下命令:

  • 查看根节点:
    ls / 
  • 查看Kafka的brokers信息:
    ls /brokers/ids 
  • 查看某个节点的数据:
    get /brokers/ids/0 

2 主题操作

2.1 相关参数

  • --topic:指定主题的名称。
  • --bootstrap-server:Kafka broker的地址。
  • --replication-factor:副本因子,即每个主题分区的副本数。
  • --partitions:分区数。

2.2 创建主题

创建主题test-topic:

bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 3 --partitions 2 

2.3 查看主题

列出所有主题:

bin/kafka-topics.sh --list --bootstrap-server localhost:9092 

描述主题test-topic的详细信息:

bin/kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092 

2.4 删除主题

删除主题test-topic:

bin/kafka-topics.sh --delete --topic test-topic --bootstrap-server localhost:9092 

2.5 修改主题

修改主题test-topic:

bin/kafka-topics.sh --alter --topic test-topic --bootstrap-server your-kafka-bootstrap-server:9092 --config max.message.bytes=10485760 

3 生产与消费

3.1 生产消息

使用kafka-console-producer.sh发送消息到Kafka主题:

bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092 

启动后可以输入消息并按回车发送。

3.2 消费消息

使用kafka-console-consumer.sh从Kafka主题消费消息:

bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092 

参数说明:

  • --from-beginning:表示从主题的开始位置消费消息。

相关内容

热门资讯

一分钟了解作弊器!七天娱乐作弊... 一分钟了解作弊器!七天娱乐作弊器多功能AIapp,七天娱乐竟然真的有作弊器app1、超多福利:超高返...
一分钟教会你辅助!道游互娱辅助... 一分钟教会你辅助!道游互娱辅助多功能AI软件,道游互娱原来存在有辅助软件1、道游互娱公共底牌简单,道...
教程攻略透视器!神牛大厅透视器... 教程攻略透视器!神牛大厅透视器多功能AI软件,神牛大厅好像有透视器软件1、任何神牛大厅透视是真的假的...
来一盘辅助!悠悠互娱辅助多功能... 来一盘辅助!悠悠互娱辅助多功能AIapp,悠悠互娱确实是有辅助app1、游戏颠覆性的策略玩法,独创攻...
分享个大家作弊器!上游大厅作弊... 分享个大家作弊器!上游大厅作弊器多功能AI工具,上游大厅一直存在有作弊器工具1、用户打开应用后不用登...
玩家必看科普外挂!千秋互娱外挂... 玩家必看科普外挂!千秋互娱外挂多功能AI工具,千秋互娱竟然是真的有外挂工具1、千秋互娱模拟器是什么优...
今日百科透视器!新漫游透视器多... 今日百科透视器!新漫游透视器多功能AI工具,新漫游果然真的是有透视器工具1、玩家可以在新漫游线上大神...
终于知道外挂!多多娱乐外挂多功... 终于知道外挂!多多娱乐外挂多功能AI技巧,多多娱乐确实真的是有外挂技巧1、用户打开应用后不用登录就可...
推荐一款作弊器!豪发娱乐作弊器... 推荐一款作弊器!豪发娱乐作弊器多功能AI插件,豪发娱乐一贯真的有作弊器插件1、豪发娱乐辅助软件下载优...
专业讨论透视器!道游互娱透视器... 专业讨论透视器!道游互娱透视器多功能AI软件,道游互娱都是是有透视器软件1、该软件可以轻松地帮助玩家...