概述

Kafka是一种高吞吐量的分布式发布订阅消息系统，就是我们常说的消息队列。 基本术语： 1. topic：kafka通过topic来管理不同消息的分类 2. producer：把消息发布到kafka一个topic的过程。 3. consumer：从kafka订阅发布的消息的过程。 4. broker：kafka由一个或者多个服务组成集群，每个服务成为一个broker。 一个发布订阅的kafka消息系统流程如图： 至此，我们对kafka有了一个基本的认知，即一个分布式消息系统，提供不同消息按照不同的topic来进行发布和订阅。

简单安装

单机安装

下载地址：http://kafka.apache.org/downloads.html 本例中我们使用0.8.2.1版本 1. 下载 安装包kafka_2.10-0.8.2.1.tgz 2. 解压，tar –xzf kafka_2.10-0.8.2.1.tgz 3. 进到解压目录，cd kafka_2.10-0.8.2.1 4. 启动服务 先不管配置，启动服务，kafka依赖zookeeper服务，如果没有也不用管，kafka自带简单的zookeeper服务 启动zk：bin/zookeeper-server-start.sh config/zookeeper.properties & 启动kafka：bin/kafka-server-start.sh config/server.properties & 5. 创建topic bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test 6. 启动发送端，发送消息： bin/kafka-console-producer.sh –broker-list localhost:9092 –topic test this is a message #控制台输入信息 this is another message #控制台输入信息，输完后按Ctrl+C退出 7. 启动消费端： bin/kafka-console-consumer.sh –zookeeper localhost:2181 –topic test –from-beginning 即可看到发送端发送的消息。 此时表示我们的单机kafka服务成功。

集群安装

伪集群安装

安装

伪集群即在一台机器上起多个kafka服务实例，组成集群模式 首先复制两个server.properties cp config/server.properties config/server-1.properties cp config/server.properties config/server-2.properties 分别编辑这两个文件，修改结果如下： config/server-1.properties: broker.id=1 port=9093 log.dir=/tmp/kafka-logs-1

config/server-2.properties: broker.id=2 port=9094 log.dir=/tmp/kafka-logs-2 然后分别启动这两个broker： bin/kafka-server-start.sh config/server-1.properties & bin/kafka-server-start.sh config/server-2.properties &

测试

创建一个topic： bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 3 –partitions 1 –topic replicated-test-topic显示该broker的运行情况： bin/kafka-topics.sh –describe –zookeeper localhost:2181 –topic replicated-test-topic发送消息： bin/kafka-console-producer.sh –broker-list localhost:9092 –topic replicated-test-topic接收消息： bin/kafka-console-consumer.sh –zookeeper localhost:2181 –from-beginning –topic replicated-test-topic如果kill掉其中一个服务，发送和接收消息正常，可以自己验证。

集群安装

集群安装同单机安装情况相同，注意配置server.properties中： 1. broker.id要不同 2. port相同 3. zookeeper.connect一直，可以使用自己的zookeeper服务地址

常用命令

1、启动Kafka bin/kafka-server-start.sh config/server.properties & 2、停止Kafka bin/kafka-server-stop.sh 3、创建topic bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test 4、列举所有的topic bin/kafka-topics.sh –list –zookeeper localhost:2181 5、列举出所有topic的详细信息 bin/kafka-topics.sh –describe –zookeeper localhost:2181 6、发送信息： bin/kafka-console-producer.sh –broker-list localhost:9092 –topic test 7、获取信息： bin/kafka-console-consumer.sh –zookeeper localhost:2181 –topic test –from-beginning

官网参考：http://kafka.apache.org/documentation.html#gettingStarted