分类:Kafka

Kafka的SASL/PLAIN认证配置说明

Kafka的SASL/PLAIN认证配置说明
Kafka 的安全机制主要分为两部分: 身份认证(Authentication):对client 与服务器的连接进行身份认证。 权限控制(Authorization):实现对于消息级别的权限控制 自version 0.10.0.0之后,Kafka提供了SASL/PLAIN...

天涯孤鸟 6个月前 (11-10) 1766℃ 0评论 0喜欢

Spring Boot 中使用@KafkaListener批量接收消息

Spring Boot 中使用@KafkaListener批量接收消息
之前介绍了如何在SpringBoot中集成Kafka,但是默认情况下,@KafkaListener都是一条一条消费,如果想要一次消费一个批量的话,我们都知道,在kafka原生的API可以通过poll(num)来获取一次获取num条消息: 那么使用在Springboot中使用@K...

天涯孤鸟 7个月前 (10-11) 7663℃ 6评论 5喜欢

Spring Boot中使用Kafka

Spring Boot中使用Kafka
SpringBoot就像一个大的容器,可以集成各种各样的框架,而且使用也很方便,这篇介绍如何在SpringBoot中使用Kafka 添加依赖: <dependency> <groupId>...

天涯孤鸟 7个月前 (10-02) 1533℃ 0评论 0喜欢

Flume +Kafka 的基本配置

Flume +Kafka 的基本配置
环境: centos7 Flume1.6 kafka_2.10-0.10.1.0 上一篇已经介绍如何安装和配置flume,这一篇将介绍如何配置 Kafka sinks 有这么一个场景: 这里,我们使用Flume作为日志收集系统,将收集到的数据输送到Kafka中间件,以供Spark...

天涯孤鸟 10个月前 (07-02) 1860℃ 0评论 2喜欢

Kafka监控工具—Kafka Manager

Kafka监控工具—Kafka Manager
一、Kafka Manager 简述 Kafka Manager 是雅虎开源的一款Kafka管理工具,它具有如下功能: 1、管理多个集群 2、方便检查群集状态(主题,消费者,偏移量,代理,副本分布,分区分布) 3、选择要运行的首选副本 4、重新分配运行分区(基于生成的分配)...

天涯孤鸟 1年前 (2016-12-31) 1820℃ 0评论 1喜欢

Kafka监控工具—KafkaOffsetMonitor

Kafka监控工具—KafkaOffsetMonitor
一、KafkaOffsetMonitor简述 KafkaOffsetMonitor是Kafka的一款客户端消费监控工具,用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,我们可以浏览当前的消费者组,并且每个Topic的所有Partit...

天涯孤鸟 1年前 (2016-12-23) 5606℃ 3评论 0喜欢

Linux上搭建kafka多节点集群

Linux上搭建kafka多节点集群
上一篇介绍了kafka单节点的搭建,接下来这篇介绍如何创建多节点,并测试容错 1、将server.properties复制两份 cp config/server.properties config/server-1.properties cp config/server.p...

天涯孤鸟 1年前 (2016-12-03) 1451℃ 1评论 0喜欢