php多进程结合Linux利器split命令实现把大文件分批高效处理
2021-04-30 11:27
标签:erb html lin wait 效率 http 业务 pid 注释 有时候会遇到这样的需求,比如log日志文件,这个文件很大,甚至上百M,需要把所有的日志拿来做统计,这时候我们如果用单进程来处理,效率会很慢。 linux的split可以看这篇文章来学习测试下Centos文件切割利器_split命令及cat命令合并文件 php多进程结合Linux利器split命令实现把大文件分批高效处理 标签:erb html lin wait 效率 http 业务 pid 注释 原文地址:https://www.cnblogs.com/zh718594493/p/12153717.html
如果我们想要快速完成这项需求,我们可以利用Linux的一个利器split,先根据这个文件的总大小、总行数,来按照一个比例来分割,在根据分割的文件数量,fork出一定比例合适的子进程数量分批处理,那么效率可想而知。//shell
# split -l 1000 -d test.txt new_test.txt --verbose //比如这里切割了10份
文章标题:php多进程结合Linux利器split命令实现把大文件分批高效处理
文章链接:http://soscw.com/essay/80375.html