kafka伪集群搭建

kafka伪集群搭建

三月 29, 2020

一、安装java环境,不再赘述。

二、下载kafka安装包

  http://kafka.apache.org/downloads

  选择 kafka-2.10-0.10.2.0.tgz 下载

三、搭建集群

3.1在/opt目录下创建kafka/目录

1
mkdir /opt/kafka

3.2将下载的 kafka-2.10-0.10.2.0.tgz 放到 /opt/kafka/ 目录下

1
2
cd /opt/kafka
tar -zxvf kafka-2.10-0.10.2.0.tgz

3.3创建kafka日志目录,这里我创建的伪集群有三台服务器,所以创建三个日志目录

1
mkdir /opt/kafka/kafkalogs1 kafkalogs2 kafkalogs3

3.4进入kafka-2.10-0.10.2.0.tgz的解压出来的 conf/ 目录,修改配置文件,同样集群的三台服务器分别对应一个配置文件。

1
2
3
4
cd /opt/kafka/kafka_2.10-0.10.2.0/config
cp server.properties server.properties1
cp server.properties server.properties2
cp server.properties server.properties3

修改server.properties1、2、3,主要修改:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
server.properties1:
broker.id=0
host.name=192.168.10.130
port=9092
log.dirs=/opt/kafka/kafkalogs1
zookeeper.connect=192.168.10.130:2181,192.168.10.130:2182,192.168.10.130:2183
server.properties2:
broker.id=1
host.name=192.168.10.128
port=9093
log.dirs=/opt/kafka/kafkalogs2
zookeeper.connect=192.168.10.130:2181,192.168.10.130:2182,192.168.10.130:2183
server.properties3:
broker.id=2
host.name=192.168.10.128
port=9094
log.dirs=/opt/kafka/kafkalogs3
zookeeper.connect=192.168.10.130:2181,192.168.10.130:2182,192.168.10.130:2183

配置文件解析:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
broker.id=0  #当前机器在集群中的唯一标识,和zookeeper的myid性质一样
port=9092 #当前kafka对外提供服务的端口默认是9092
host.name=192.168.10.130#这个参数默认是关闭的,在0.8.1有个bug,DNS解析问题,失败率的问题。
num.network.threads=3 #这个是borker进行网络处理的线程数
num.io.threads=8 #这个是borker进行I/O处理的线程数
log.dirs=/opt/kafka/kafkalogs/ #消息存放的目录,这个目录可以配置为“,”逗号分割的表达式,上面的num.io.threads要大于这个目录的个数这个目录,如果配置多个目录,新创建的topic他把消息持久化的地方是,当前以逗号分割的目录中,那个分区数最少就放那一个
socket.send.buffer.bytes=102400 #发送缓冲区buffer大小,数据不是一下子就发送的,先回存储到缓冲区了到达一定的大小后在发送,能提高性能
socket.receive.buffer.bytes=102400 #kafka接收缓冲区大小,当数据到达一定大小后在序列化到磁盘
socket.request.max.bytes=104857600 #这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数,这个值不能超过java的堆栈大小
num.partitions=1 #默认的分区数,一个topic默认1个分区数
log.retention.hours=168 #默认消息的最大持久化时间,168小时,7天
message.max.byte=5242880 #消息保存的最大值5M
default.replication.factor=2 #kafka保存消息的副本数,如果一个副本失效了,另一个还可以继续提供服务
replica.fetch.max.bytes=5242880 #取消息的最大直接数
log.segment.bytes=1073741824 #这个参数是:因为kafka的消息是以追加的形式落地到文件,当超过这个值的时候,kafka会新起一个文件
log.retention.check.interval.ms=300000 #每隔300000毫秒去检查上面配置的log失效时间(log.retention.hours=168 ),到目录查看是否有过期的消息如果有,删除
log.cleaner.enable=false #是否启用log压缩,一般不用启用,启用的话可以提高性能
zookeeper.connect=192.168.10.130:2181,192.168.10.130:2182,192.168.10.130:2183 #设置zookeeper的连接端口
zookeeper.connection.timeout.ms=6000 #zookeeper的session的过期时间
zookeeper.sync.time.ms=2000 #指定多久消费者更新offset到zookeeper中
group.id=test-consumer-group #(必需)consumer组id
consumer.timeout.ms=5000  #消费者超时
auto.commit.enable=true #自动向zookeeper提交offset信息
auto.commit.interval.ms=1000 #自动更新时间
#consumer.id=xxx #当前consumer的标识,如果不设置会自动生成

四、启动kafka前修改启动脚本 bin/kafka-server-start.sh

1
2
将 export KAFKA_HEAP_OPTS="-Xmx1G-Xms1G"
改为 export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

五、启动kafka

1
2
3
4
cd /opt/kafka/kafka_2.10-0.10.2.0
bin/kafka-server-start.sh config/server.properties1
bin/kafka-server-start.sh config/server.properties2
bin/kafka-server-start.sh config/server.properties3

当看到终端输出“[Kafka Server 0], started (kafka.server.KafkaServer)”等相关信息时,说明kafka集群启动成功。

六、创建topic验证是否创建成功

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#创建Topic
bin/kafka-topics.sh --create --zookeeper zookeeper_node:2181 --replication-factor 2 --partitions 1 --topic test
#解释
partitions指定topic分区数,replication-factor指定topic每个分区的副本数
partitions分区数:
  partitions :分区数,控制topic将分片成多少个log。可以显示指定,如果不指定则会使用broker(server.properties)中的num.partitions配置的数量,
虽然增加分区数可以提供kafka集群的吞吐量、但是过多的分区数或者或是单台服务器上的分区数过多,会增加不可用及延迟的风险。因为多的分区数,意味着需要打开更
多的文件句柄、增加点到点的延时、增加客户端的内存消耗。分区数也限制了consumer的并行度,即限制了并行consumer消息的线程数不能大于分区数,分区数也限制了
producer发送消息是指定的分区。如创建topic时分区设置为1,producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错的;这种情况可以通过
alter –partitions 来增加分区数。
replication-factor副本
  replication factor 控制消息保存在几个broker(服务器)上,一般情况下等于broker的个数。
  如果没有在创建时显示指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中的default.replication.factor配置的数量
#在控制台上创建一个发布者
bin/kafka-console-producer.sh --broker-list kafka_node:9092 --topic test

#在控制台创建一个消费者
bin/kafka-console-consumer.sh --zookeeper zookeeper_node:2181 --topic test --from-beginning

七、其他命令

7.1、查看topic

1
2
bin/kafka-topics.sh --list --zookeeper zookeeper_node:2181
#就会显示我们创建的所有topic

7.2、查看topic状态

1
2
3
4
5
6
bin/kafka-topics.sh --describe --zookeeper zookeeper_node:12181 --topic test
#下面是显示信息
Topic:ssports PartitionCount:1 ReplicationFactor:2 Configs:
Topic: test Partition: 0 Leader: 1 Replicas: 0,1 Isr: 1
#分区为为1 复制因子为2 他的 shuaige的分区为0
#Replicas: 0,1 复制的为0,1

7.3、增加Topic分区数

  为test增加分区

1
bin/kafka-topics.sh --zookeeper zookeeper_node:2181  --alter --topic test --partitions 10

7.4、删除Topic

  只会删除zookeeper中的元数据,消息文件需要自己删除

1
bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper zookeeper_node:2181 --topic test

7.5、查看Topic消费进度

  这个会显示出consumer group的offset情况, 必须参数为–group, 不指定–topic,默认为所有topic

1
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker