Google Colab 解压zip大文件时速度太慢
用 Google Colab 解压zip大文件时,(授权后)先不要更改工作目录,直接在默认目录"/content"下解压!
最近想分析一个大数据集,由于本人pc内存较小不方便处理,所以去 Google Colab 上操作。新建 Colab notebook,授权、更改工作目录到指定文件夹,从Kaggle下载数据集压缩文件到工作目录,文件是zip格式,大小约为 1.3G。利用命令
!unzip xxx.zip
解压文件时发现速度奇慢无比,这个压缩包内只有一个csv格式文件,解压出来大小约为 5.8G。半小时过去手动终止解压过程,发现此时的部分解压出来的csv文件大小只有30M左右,而在pc上解压全部完成也只需几分钟而已。在之后的几次尝试中发现,打开 Colab notebook 并授权后,先不要更改工作目录,直接将数据集压缩文件下载到当前目录"/content"下,并使用 "!unzip"命令解压,速度和在pc上解压差不多。再将解压后的文件移动到指定文件夹下即可,然后就可以更改工作目录了。
编辑于 2020-11-06 12:18