在做日志收集和处理的时候,经常会遇到对大文件的操作,当内存有限,又要求快速处理的时候,就需要考虑对文件进行切割,利用多线程将一个大文件切割成多个小文件,然后再对小文件分别操作,这样既可以限制内存的使用,又可以提高效率。 切割与合并,可以使用RandomAccessFile类,它支持对随机访问文件的读取和写入,程序可以直接跳到任意地方来读写数据。 文件切割 大文件的上传、下载、内容处理等操作,都会涉及到文件切割处理。 文件切割的流程: 1、设定切割后的小文件大小,根据原文件大小…
在做日志收集和处理的时候,经常会遇到对大文件的操作,当内存有限,又要求快速处理的时候,就需要考虑对文件进行切割,利用多线程将一个大文件切割成多个小文件,然后再对小文件分别操作,这样既可以限制内存的使用,又可以提高效率。 切割与合并,可以使用RandomAccessFile类,它支持对随机访问文件的读取和写入,程序可以直接跳到任意地方来读写数据。 文件切割 大文件的上传、下载、内容处理等操作,都会涉及到文件切割处理。 文件切割的流程: 1、设定切割后的小文件大小,根据原文件大小…