Kafka搭建方式可以分为单机模式、集群模式、伪集群模式。
单机模式
下载Kafka：
http://kafka.apache.org/downloads
解压：
tar -xzf kafka_2.11-1.1.0.tgz
cd kafka_2.11-1.1.0
启动服务
运行kafka需要使用Zookeeper，所以要先启动Zookeeper：
[heql@ubuntu zookeeper-3.4.12]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/heql/test/zookeeper-3.4.12/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[heql@ubuntu zookeeper-3.4.12]$
[heql@ubuntu zookeeper-3.4.12]$ jps
3403 QuorumPeerMain
3420 Jps
启动Kafka：
[heql@ubuntu kafka_2.11-1.1.0]$ bin/kafka-server-start.sh -daemon config/server.properties
[heql@ubuntu kafka_2.11-1.1.0]$
[heql@ubuntu kafka_2.11-1.1.0]$ jps
3697 Kafka
3714 Jps
3403 QuorumPeerMain
创建Tpoic
下面的命令创建一个名为test的Topic，只有一个分区和副本：
[heql@ubuntu kafka_2.11-1.1.0]$ bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test
Created topic "test".
查看已经创建的Tpoic信息：
[heql@ubuntu kafka_2.11-1.1.0]$ bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181
test
发送消息
Kafka提供了一个命令行的工具，可以从输入文件或者命令行中读取消息并发送给Kafka集群。每一行是一条消息。
运行producer（生产者），然后在控制台输入几条消息到服务器：
[heql@ubuntu kafka_2.11-1.1.0]$ bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test
>hello
>world
消费消息
Kafka也提供了一个消费消息的命令行工具，可以读取生产者发送的消息：
[heql@ubuntu kafka_2.11-1.1.0]$ bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test --from-beginning
hello
world
集群模式
如果是在单台机器上，可以搭建Kafa的伪集群，Kafka的端口号和日志目录不能相同。
修改配置
首先为每个broker创建一个配置文件:
[heql@ubuntu kafka_2.11-1.1.0]$ cp config/server.properties config/server-9092.properties
[heql@ubuntu kafka_2.11-1.1.0]$ cp config/server.properties config/server-9093.properties
[heql@ubuntu kafka_2.11-1.1.0]$ cp config/server.properties config/server-9094.properties
编辑这些新建的文件，设置以下属性:
config/server-9092.properties:
broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/tmp/kafka-9092-logs
config/server-9093.properties:
broker.id=1
listeners=PLAINTEXT://:9093
log.dirs=/tmp/kafka-9093-logs
config/server-9094.properties:
broker.id=2
listeners=PLAINTEXT://:9094
log.dirs=/tmp/kafka-9094-logs
broker.id是集群中每个节点的唯一且永久的名称，如果Zookeeper需要配置成集群模式，可以修改zookeeper.connect配置。
启动节点
首先要启动Zoopeeker:
[heql@ubuntu zookeeper-3.4.12]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/heql/test/zookeeper-3.4.12/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[heql@ubuntu zookeeper-3.4.12]$ jps
6270 QuorumPeerMain
6287 Jps
启动Kafka节点：
[heql@ubuntu kafka_2.11-1.1.0]$ bin/kafka-server-start.sh -daemon config/server-9092.properties
[heql@ubuntu kafka_2.11-1.1.0]$ bin/kafka-server-start.sh -daemon config/server-9093.properties
[heql@ubuntu kafka_2.11-1.1.0]$ bin/kafka-server-start.sh -daemon config/server-9094.properties
[heql@ubuntu kafka_2.11-1.1.0]$
[heql@ubuntu kafka_2.11-1.1.0]$ jps
6561 Kafka
7185 Jps
7144 Kafka
6873 Kafka
6270 QuorumPeerMain
[heql@ubuntu kafka_2.11-1.1.0]$ ls /tmp/kafka-909
kafka-9092-logs/ kafka-9093-logs/ kafka-9094-logs/
创建Tpoic
下面的命令创建一个名为topic的Topic，只有一个分区和3个副本：
[heql@ubuntu kafka_2.11-1.1.0]$ bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 3 --partitions 1 --topic topic
Created topic "topic".
查看分区的信息：
[heql@ubuntu kafka_2.11-1.1.0]$ bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic topic
Topic:topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: topic Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0
每一行提供一个分区信息，只有一个分区，所以只有一行。
- leader：该节点负责该分区的所有的读和写，每个节点的leader都是随机选择的。
- replicas：备份的节点列表，无论该节点是否是leader或者目前是否还活着，只是显示。
- isr：同步备份的节点列表，也就是活着的节点并且正在同步leader。
发送消息
[heql@ubuntu kafka_2.11-1.1.0]$ bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic topic
>test message 1
>test message 2
消费消息
[heql@ubuntu kafka_2.11-1.1.0]$ bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic topic --from-beginning
test message 1
test message 2
测试容错性
kill掉leader， 从上面的分区信息可以看到broker.id=1为当前的leader：
[heql@ubuntu kafka_2.11-1.1.0]$ kill 6873
备份节点broker.id=2成为新的leader，而broker1已经不在同步备份集合里了:
[heql@ubuntu kafka_2.11-1.1.0]$ bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic topic
Topic:topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: topic Partition: 0 Leader: 2 Replicas: 1,2,0 Isr: 2,0
但是，消息仍然没丢失：
[heql@ubuntu kafka_2.11-1.1.0]$ bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic topic --from-beginning
test message 1
test message 2
Kafka Manager
Kafka Manager是Yahoo开源的一个基于Web的Kafka管理工具，使用这个工具可以很好地管理Kafka集群。
下载安装
使用kafka-manager，首先需要安装java8环境。
下载：
git clone https://github.com/yahoo/kafka-manager.git
下载完成后，进入kafka-manager目录，执行下面命令，这个命令执行会需要一定时间，主要是下载依赖的jar包：
cd kafka-manager
[heql@ubuntu kafka-manager]$ ./sbt clean dist
命令执行完成后，在target/universal目录中会生成一个zip压缩包kafka-manager-1.3.3.7.zip。将压缩包拷贝到要部署的目录下解压:
[heql@ubuntu kafka-manager]$ unzip kafka-manager-1.3.3.7.zip
[heql@ubuntu kafka-manager]$ cd kafka-manager-1.3.3.17/
在解压后的进入conf目录中修改application.conf文件的zookeeper配置，或者通过环境变量ZK_HOSTS配置这个参数值：
kafka-manager.zkhosts="localhost:2181"
启动
执行以下命令，启动kafka-manager，默认使用的是9000端口：
bin/kafka-manager
可以通过下面的命令指定配置文件和端口：
bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8000
启动后可以看到如下界面：
配置集群
点击Cluster->Add Cluster，打开如下添加集群的配置界面：
输入集群的名字，如：Kafka-Cluster-Test和 Zookeeper服务器地址，如：localhost:2181。
点击Save后，会提示几个默认值为1的配置错误，需要配置为>=2的值。保存成功后，提示如下：
集群界面
点击 Go to cluster view.，可以看到以下集群界面：
Topic List界面
Topic界面
broke界面
