Flume源码分析(四)Event数据流程图

 2017-09-30 18:23:02     Flume  Java  开源框架   679



刚开始梳理这篇内容时,赶上比较忙的业务,一直就闲搁了,最近才有时间,既然花了时间,再放弃或遗忘,就浪费了。如是便重新整理,以便以后用到时可以快速回顾。

阅读全文

Flume源码分析(三)实例化组件对象

 2017-05-06 19:23:02     Flume  Java   450



Flume源码分析学习系列三,实例化组件对象,并启动各组件服务。详细内容,请阅读全文。

阅读全文

Flume源码分析(二)解析配置文件

 2017-04-23 20:23:32     Flume  Java   406



Flume源码分析学习系列二,解析配置文件。详细内容,请阅读全文。

阅读全文

Flume源码分析(一)启动

 2017-04-23 20:23:32     Flume  Java   622



Flume源码分析学习系列一,服务启动整体分析。详细内容,请阅读全文。

阅读全文

大文件切割与合并

 2017-04-11 21:22:41     数据收集  Java   631



在做日志收集和处理的时候,经常会遇到对大文件的操作,当内存有限,又要求快速处理的时候,就需要考虑对文件进行切割,利用多线程将一个大文件切割成多个小文件,然后再对小文件分别操作,这样既可以限制内存的使用,又可以提高效率。

切割与合并,可以使用RandomAccessFile类,它支持对随机访问文件的读取和写入,程序可以直接跳到任意地方来读写数据。

阅读全文