python 超大txt 按行分块多线程读取
2021-04-15 16:27
标签:main 文件 实现 bre 分块 and 经纬度 rar app 首先:使用ultra edit 打开获取txt行数 python 超大txt 按行分块多线程读取 标签:main 文件 实现 bre 分块 and 经纬度 rar app 原文地址:https://www.cnblogs.com/licbin/p/13329301.htmlimport time, threading
import pandas as pd
from itertools import islice
‘‘‘
Reader类,继承threading.Thread
@__init__方法初始化
@run方法实现了读文件的操作
‘‘‘
class Reader(threading.Thread):
def __init__(self, file_name, n, nlong):
super(Reader, self).__init__()
self.file_name = file_name
self.n = n
self.nlong = nlong
self.data = pd.DataFrame(columns=[
‘发展渠道编码(全渠道)‘,‘发展渠道名称‘,‘客户id(脱敏后的移动用户识别码)‘,‘年龄‘,‘性别‘,‘产品名称(201907)‘,‘档位(201907)‘,‘出账收入(201907)‘,‘产品名称(201908)‘,‘档位(201908)‘,‘出账收入(201908)‘,‘产品名称(201909)‘,‘档位(201909)‘,‘出账收入(201909)‘,‘产品名称(201910)‘,‘档位(201910)‘,‘出账收入(201910)‘,‘产品名称(201911)‘,‘档位(201911)‘,‘出账收入(201911)‘,‘产品名称(201912)‘,‘档位(201912)‘,‘出账收入(201912)‘,‘入网时间‘,‘离网时间 取唯一标识‘,‘2019年7月‘,‘工作地的经纬度网格‘,‘2019年7月居住地的经纬度网格‘,‘2019年8月工作地的经纬度网格‘,‘2019年8月居住地的经纬度网格‘,‘2019年9月工作地的经纬度网格‘,‘2019年9月居住地的经纬度网格‘,‘2019年10月工作地的经纬度网格‘,‘2019年10月居住地的经纬度网格‘,‘2019年11月工作地的经纬度网格‘,‘2019年11月居住地的经纬度网格‘,‘2019年12月工作地的经纬度网格‘,‘2019年12月居住地的经纬度网格‘,‘2019年11月每个周六10:00-15:00出现频次最多位置的经纬度网格‘,‘2019年11月每个周日10:00-15:00出现频次最多位置的经纬度网格‘,‘2019年12月每个周六10:00-15:00出现频次最多位置的经纬度网格‘,‘2019年12月每个周日10:00-15:00出现频次最多位置的经纬度网格‘])
def run(self):
for line in islice(open(self.file_name,‘r‘,encoding=‘utf-8‘),self.n,None):
print(self.n)
if self.n
文章标题:python 超大txt 按行分块多线程读取
文章链接:http://soscw.com/index.php/essay/76004.html