php多进程结合Linux利器split命令实现把大文件分批高效处理
2021-04-30 11:27
阅读：689
标签：erb html lin wait 效率 http 业务 pid 注释 有时候会遇到这样的需求，比如log日志文件，这个文件很大，甚至上百M，需要把所有的日志拿来做统计，这时候我们如果用单进程来处理，效率会很慢。 linux的split可以看这篇文章来学习测试下Centos文件切割利器_split命令及cat命令合并文件 php多进程结合Linux利器split命令实现把大文件分批高效处理 标签：erb html lin wait 效率 http 业务 pid 注释 原文地址：https://www.cnblogs.com/zh718594493/p/12153717.html
如果我们想要快速完成这项需求，我们可以利用Linux的一个利器split，先根据这个文件的总大小、总行数，来按照一个比例来分割，在根据分割的文件数量，fork出一定比例合适的子进程数量分批处理，那么效率可想而知。
//shell
# split -l 1000 -d test.txt new_test.txt --verbose //比如这里切割了10份
文章来自：搜素材网的编程语言模块，转载请注明文章出处。
文章标题：php多进程结合Linux利器split命令实现把大文件分批高效处理
文章链接：http://soscw.com/index.php/essay/80375.html
文章标题：php多进程结合Linux利器split命令实现把大文件分批高效处理
文章链接：http://soscw.com/index.php/essay/80375.html
评论
亲，登录后才可以留言！