工作中常遇到excel或CSV文件超大的情况,例如几百M、几G。这种情况excel打开会非常缓慢,即使打开也只最多显示1048576行。这种情况下如何进行数据统计和分析?别急,亲测可采用超大文件工具和文件分割的方法。
方法一:超大csv文件打开工具snapede
下载安装完成并运行该软件,默认页面显示空白,可使用【文件】-【打开】选择所需打开的超大文件,显示如下进度条,则代表正在正常打开中。
亲测打开500M数据只需要6S。
该软件可进行基本的数据统计、筛选、搜索、运行python脚本等。
方式二:采用文件分割器Split_CSV_File
之所以又采用这种方式,是由于snapde并非万能,部分文件打开会遇到报错无法打开的情况。此时我们可以采用将csv文件分割为多个小文件再使用snapde、excel打开的方式。
下载并安装允许后,显示如下窗口:
这两种方式旨在解决超大文件不能打开的问题,但要进行详细分析和数据的整合还需使用数据库。我是采用免费轻量的mysql,详细了解可见上一篇:
绿色版解压版mysql及工具安装授权全流程