发布网友 发布时间:2022-04-22 01:14
共3个回答
热心网友 时间:2022-05-11 02:31
使用Data.olllo数据助手好了,Data.olllo数据助手就是基于Python实现的,超大EXCEL、CSV、TXT数据文件排序都很简单、方便。
热心网友 时间:2022-05-11 03:49
分割文件为多个小文件,开启多线程依次对每个小文件读取放到数据库,在数据库里面排序好了,再读出来,保存成CSV.
个人觉得这样:
1.分割成小文件,处理每个文件的时候,占用内存比较小
2.多线程处理速度快
3.数据库比较擅长排序,如果用python的列表排序,都要读入内存,太占内存了.