Flume源码分析(二)解析配置文件

 2017-04-23 20:23:32     Flume  Java   632



Flume源码分析学习系列二,解析配置文件。详细内容,请阅读全文。

阅读全文

Flume源码分析(一)启动

 2017-04-23 20:23:32     Flume  Java   914



Flume源码分析学习系列一,服务启动整体分析。详细内容,请阅读全文。

阅读全文

Flume1.7安装

 2017-03-25 23:01:05     Flume  数据收集   1360



Flume是Apache提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的框架,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些Event由Agent外部的Source生成,当Source捕获事件后会进行特定的格式化,然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区,它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。

阅读全文