kafka环境搭建

    xiaoxiao2021-03-25  78

    1.解压文件

    tar -zxvf kafka_2.10-0.8.1.1.tgz -C ~/app/

    2.修改配置文件server.properties

    #每台服务器设置一个不同的id,每一台服务器的broker.id必须不一样,在集群中保持唯一

            vi /home/hadoop/app/kafka_2.10-0.8.1.1/config/server.properties 

    broker.id=1

    #设置zookeeper的地址

    zookeeper.connect=hadoop05:2181,hadoop06:2181,hadoop07:2181

    #修改系统的日志文件目录,默认为/tmp

    log.dirs=/home/hadoop/app/kafka_2.10-0.8.1.1/logs

    3.先启动zookeeper

    4.在每一台主机上启动kafka

    bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &

    5.kafka的常用命令:

    #创建一个topic,topic的名字为test

    bin/kafka-topics.sh --create --zookeeper hadoop05:2181 --replication-factor 3 --partitions 1 --topic test

    #查看当前已创建的topic

    bin/kafka-topics.sh --list --zookeeper hadoop05:2181

    #开启一个producer向某一个topic中写消息

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

    #开启一个consumer从某一个topic中读取信息

    bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic test

    #查看一个topic的分区及副本状态信息

    bin/kafka-topics.sh --describe --zookeeper hadoop05:2181 --topic test

    6.官方quickstart地址:http://kafka.apache.org/quickstart

    转载请注明原文地址: https://ju.6miu.com/read-33763.html

    最新回复(0)