分类:Kafka

Spring Boot 中使用@KafkaListener批量接收消息

Spring Boot 中使用@KafkaListener批量接收消息
之前介绍了如何在SpringBoot中集成Kafka,但是默认情况下,@KafkaListener都是一条一条消费,如果想要一次消费一个批量的话,我们都知道,在kafka原生的API可以通过poll(num)来获取一次获取num条消息: 那么使用在Springboot中使用@K...

天涯孤鸟 2年前 (2017-10-11) 39933℃ 10评论 24喜欢

Spring Boot中使用Kafka

Spring Boot中使用Kafka
SpringBoot就像一个大的容器,可以集成各种各样的框架,而且使用也很方便,这篇介绍如何在SpringBoot中使用Kafka 添加依赖: <dependency> <groupId>...

天涯孤鸟 2年前 (2017-10-02) 6197℃ 0评论 0喜欢

Flume +Kafka 的基本配置

Flume +Kafka 的基本配置
环境: centos7 Flume1.6 kafka_2.10-0.10.1.0 上一篇已经介绍如何安装和配置flume,这一篇将介绍如何配置 Kafka sinks 有这么一个场景: 这里,我们使用Flume作为日志收集系统,将收集到的数据输送到Kafka中间件,以供Spark...

天涯孤鸟 2年前 (2017-07-02) 6994℃ 0评论 2喜欢

Kafka监控工具—Kafka Manager

Kafka监控工具—Kafka Manager
一、Kafka Manager 简述 Kafka Manager 是雅虎开源的一款Kafka管理工具,它具有如下功能: 1、管理多个集群 2、方便检查群集状态(主题,消费者,偏移量,代理,副本分布,分区分布) 3、选择要运行的首选副本 4、重新分配运行分区(基于生成的分配)...

天涯孤鸟 3年前 (2016-12-31) 4652℃ 0评论 1喜欢

Kafka监控工具—KafkaOffsetMonitor

Kafka监控工具—KafkaOffsetMonitor
一、KafkaOffsetMonitor简述 KafkaOffsetMonitor是Kafka的一款客户端消费监控工具,用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,我们可以浏览当前的消费者组,并且每个Topic的所有Partit...

天涯孤鸟 3年前 (2016-12-23) 13029℃ 3评论 0喜欢

Linux上搭建kafka多节点集群

Linux上搭建kafka多节点集群
上一篇介绍了kafka单节点的搭建,接下来这篇介绍如何创建多节点,并测试容错 1、将server.properties复制两份 cp config/server.properties config/server-1.properties cp config/server.p...

天涯孤鸟 3年前 (2016-12-03) 3147℃ 1评论 0喜欢

Windows7环境下搭建Kafka

Windows7环境下搭建Kafka
Kafka简介: Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,其特性如下: 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量:即使是非常普通的硬件Kafk...

天涯孤鸟 3年前 (2016-12-02) 6229℃ 2评论 2喜欢