Windows7环境下搭建Kafka

Kafka 天涯孤鸟 2212℃ 0评论

kafka logo

Kafka简介:

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,其特性如下:

  • 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
  • 高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
  • 支持通过Kafka服务器和消费机集群来分区消息。
  • 支持Hadoop并行数据加载。

Kafka术语介绍

  • Broker
    Kafka集群包含一个或多个服务器,这种服务器被称为broker
  • Topic
    每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)
  • Partition
    Partition是物理上的概念,每个Topic包含一个或多个Partition.
  • Producer
    负责发布消息到Kafka broker
  • Consumer
    消息消费者,向Kafka broker读取消息的客户端。
  • Consumer Group
    每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)。

上述资料来源于百度百科:http://baike.baidu.com/link?url=coehKuF7HJ2tdVD_Bt5VBtvKgv5jWyILNtIdGki60-MM6oFf7bsW8CMfBZimC2adFEN00Zi8GTa4OuJrpfs3ea

Kafka下载

可以通过官网下载Kafka,http://kafka.apache.org/
我目前用的是kafka_2.10-0.10.1.0这个版本。

Zookeeper下载

由于Kafka依赖于zookeeper,则需要安装zookeeper。可以通过官网下载http://zookeeper.apache.org/,
我目前用的是zookeeper-3.4.6这个版本。

安装Zookeeper

安装zookeeper很简单,只需要将压缩包解压后,到bin目录下,启动zkServer.bat即可。
zookeeper startup
可以看到已经启动成功。# Kafka简介:
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,其特性如下:

  • 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
  • 高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
  • 支持通过Kafka服务器和消费机集群来分区消息。
  • 支持Hadoop并行数据加载。

Kafka术语介绍

  • Broker
    Kafka集群包含一个或多个服务器,这种服务器被称为broker
  • Topic
    每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)
  • Partition
    Partition是物理上的概念,每个Topic包含一个或多个Partition.
  • Producer
    负责发布消息到Kafka broker
  • Consumer
    消息消费者,向Kafka broker读取消息的客户端。
  • Consumer Group
    每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)。

上述资料来源于百度百科:http://baike.baidu.com/link?url=coehKuF7HJ2tdVD_Bt5VBtvKgv5jWyILNtIdGki60-MM6oFf7bsW8CMfBZimC2adFEN00Zi8GTa4OuJrpfs3ea

Kafka下载

可以通过官网下载Kafka,http://kafka.apache.org/
我目前用的是kafka_2.10-0.10.1.0这个版本。

Zookeeper下载

由于Kafka依赖于zookeeper,则需要安装zookeeper。r可以通过官网下载http://zookeeper.apache.org/,
我目前用的是zookeeper-3.4.6这个版本。

安装Zookeeper

安装zookeeper很简单,只需要将压缩包解压后,到bin目录下,启动zkServer.bat即可。
zookeeper startup
可以看到已经启动成功。

配置Kafka

安装完Zookeeper,接下来需修改Kafka配置文件config\server.properties
zookeeper startup
这里的zookeeper.connect修改问当前zookeeper所在机器的ip,默认端口为2181,
另外还修改日志保存路径:

kafak log dir

启动Kafak

1、打开命令行窗口,输入如下命令启动Kafak:

kafka-server-start.bat config\server.properties

zookeeper startup

2、启动完成之后,创建一个测试主题

kafka-topics.bat –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test

由于是在同一台机子上搭建,所以这里的zookeeper地址可以用:localhost:2181

3、创建完主题后,创建一个生产者producer:

kafka-console-producer.bat –broker-list localhost:9092 –topic test

这里的localhost:9092为kafka的地址
执行上面命令之后,可以在控制台随意输入文本

kafak producer

4、然后再创建一个消费者consumer:

kafka-console-consumer.bat –bootstrap-server localhost:2181 –topic test

可以看到已经接收成功
kafak consumer

到这里,windows7下安装kafak介绍完毕,下一篇将介绍如何《搭建多节点Kafak》。

配置Kafka

安装完Zookeeper,接下来需修改Kafka配置文件config\server.properties
zookeeper startup
这里的zookeeper.connect修改问当前zookeeper所在机器的ip,默认端口为2181,
另外还修改日志保存路径:

kafak log dir

启动Kafak

1、打开命令行窗口,输入如下命令启动Kafak:

kafka-server-start.bat config\server.properties

zookeeper startup

2、启动完成之后,创建一个测试主题

kafka-topics.bat –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test

由于是在同一台机子上搭建,所以这里的zookeeper地址可以用:localhost:2181

3、创建完主题后,创建一个生产者producer:

kafka-console-producer.bat –broker-list localhost:9092 –topic test

这里的localhost:9092为kafka的地址
执行上面命令之后,可以在控制台随意输入文本

kafak producer

4、然后再创建一个消费者consumer:

kafka-console-consumer.bat –bootstrap-server localhost:2181 –topic test

可以看到已经接收成功
kafak consumer

到这里,windows7下安装kafak介绍完毕,下一篇将介绍如何《搭建多节点Kafak》。


转载请注明:猫头鹰工作室 » Windows7环境下搭建Kafka

喜欢 (2)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(2)个小伙伴在吐槽
  1. 搭建后遇到一个问题: 第一次运行没有问题,broker,consumer,productor创建都没有问题,但是,关闭zookeeper和kafka后,再次打开会出现一个日志被占用的一个问题 FATAL Shutdown broker because all log dirs in D:\softWare\kafka_2.11-1.0.0\kafka-logs have failed (kafka.log.LogManager) 原因是 java.nio.file.FileSystemException: D:\softWare\kafka_2.11-1.0.0\kafka-logs\mykafka-0\00000000000000000000.timeindex: 另 一个程序正在使用此文件,进程无法访问。 这个东西我只使用kafka打开的,关闭的时候也要关闭吗,而不是直接结束任务
    罗牛2017-11-28 15:06 回复
    • 天涯孤鸟
      Kafka在windows上确实有这个问题,好像没什么好的解决方法,只能手动删除,建议使用Linux部署,在linux上没有这情况。
      天涯孤鸟2017-11-28 15:50 回复