分类:Flume

Flume +Kafka 的基本配置

Flume +Kafka 的基本配置
环境: centos7 Flume1.6 kafka_2.10-0.10.1.0 上一篇已经介绍如何安装和配置flume,这一篇将介绍如何配置 Kafka sinks 有这么一个场景: 这里,我们使用Flume作为日志收集系统,将收集到的数据输送到Kafka中间件,以供Spark...

天涯孤鸟 1年前 (2017-07-02) 3280℃ 0评论 2喜欢

CentOS7下安装Flume

CentOS7下安装Flume
一、Flume简介 Flume一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(kakfa,hdfs等)(可定制)的能力。其处理流程如下图: ...

天涯孤鸟 1年前 (2017-07-02) 1381℃ 0评论 1喜欢