基于docker环境下的zookeeper和kafka部署

¶Kafka 简单介绍

kafka是 LinkedIn 开源的一种高吞吐量的分布式发布订阅消息系统，kafka的诞生就是为了处理海量日志数据，所以kafka处理消息的效率非常高，即使是非常普通的硬件也可以支持每秒数百万的消息。

kafka天然支持集群负载均衡，使用 zookeeper 进行分布式协调管理。不支持事务，有一定概率丢失消息。

kafka的特点，决定了使用场景：日志中间件。

¶下载docker镜像

zookeeper: docker pull zookeeper:latest
kafka: docker pull wurstmeister/kafka:latest

¶创建并启动容器

先启动zookeeper:

1	docker run -d --name zookeeper --publish 2181:2181 -v /etc/localtime:/etc/localtime zookeeper:latest

zookeeper启动完成后再启动kafka:

docker run -d --name kafka -p 9092:9092 \
--link zookeeper \
--env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
--env KAFKA_ADVERTIESED_HOST_NAME={your_host_ip} \
--env KAFKA_ADVERTISED_PORT=9092 \
--volume /etc/localtime:/etc/localtime \
wurstmeister/kafka:latest

¶向kafka发送测试消息

运行docker ps，找到kafka的 CONTAINER ID，运行 docker exec -it ${kafka_id} /bin/bash，进入kafka容器。

进入kafka默认目录， /opt/kafka，运行bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic test，创建一个 topic 名称为 test。

运行bin/kafka-topics.sh --list --zookeeper zookeeper:2181查看当前的 topic 列表。

运行一个消息生产者，制定 topic 为刚刚创建的 test，bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test，输入一些测试消息。

运行一个消息消费者，同样指定 topic 为 test，bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-begining，可以接收到生产者发送的消息。

¶最后

kafka 环境已经搭建完成，接下来我们要对之前的工程进行改造，使用log4j2的kafka appender把日志统一输出到 kafka 日志中间件。

日志导入 kafka 之后，接下来的处理就比较灵活了，可以用不同功能的消费者订阅感兴趣的 topic，进行日志分析。例如：使用 kafka 作为 storm 的数据来源 spout，进行流式处理；订阅 kafka 中需要做离线统计处理的 topic，把数据保存到数据库，一般是 mongodb 或 hbase 这种数据结构松散的 nosql 数据库；又或者可以使用 flume 或 logstash 这种管道工具，把数据导入到其他的系统，比如 elasticsearch、 solr 等。
kafka 作为最常用的日志中间件，可以把分散的日志集中到一处，并做缓冲处理，再和其他开源工具进行集成，对数据做进一步处理，是日志统计系统的基础组件。