添加链接 注册    登录
link管理
链接快照平台
  • 输入网页链接，自动生成快照
  • 标签化管理网页链接
相关文章推荐
没读研的日记本  ·  使用 PhpSpreadsheet 读取 ...·  2 周前    · 
瘦瘦的海龟  ·  如何在excel中制作二级子菜单-百度经验·  2 周前    · 
大鼻子的水龙头  ·  excel表格怎么做子项目 | ...·  2 周前    · 
有胆有识的红豆  ·  BOM 表工作表·  2 周前    · 
帅气的青蛙  ·  如何使用Excel做项目计划进度表？Exce ...·  2 周前    · 
挂过科的油条  ·  步非烟1~210 下载 - 搜狗搜索·  2 周前    · 
卖萌的黄豆  ·  搜索结果·  3 周前    · 
茫然的钥匙  ·  特视网-范文写作网-底钧网·  2 月前    · 
朝气蓬勃的紫菜  ·  长江三峡越野赛完美收官 体验最美三峡_国家体育总局·  1 年前    · 
温柔的电梯  ·  c语言编程实现去掉字符串中的\n - CSDN文库·  1 年前    · 
link管理  ›  使用Python处理百万数据量的Excel文件：删除列、切分换行、替换去重_python 怎么对excel表格文本进行批量换行处理
python 大数据 电子表格
https://blog.csdn.net/qq_37785938/article/details/125456565
魁梧的黑框眼镜
1 年前
本文介绍了使用Python处理大量Excel数据的技巧，包括删除冗余列、切分换行数据、替换特定字符、去重等步骤。通过Python的pandas库，实现了从数据导入到清洗的完整流程，有效解决了Excel文件处理效率低下的问题。 摘要由CSDN通过智能技术生成 path = r"C:\Users\Administrator\Desktop\test1.csv" #导入数据文件，文件含有特殊字符，所以采用unicode_escape编码格式 df = pd . read_csv ( path , encoding = "unicode_escape" , low_memory = False )

数据情况 : 数据文件包含了网站名称site_short_name、文章标题title、文章URL、话题topics等信息。一个网站有多个话题，多篇文章；同一篇文章会发表在不同的板块，多个板块的信息以数组形式存储在topics字段中；
在这里插入图片描述

数据处理的目的 ： 将topics数组切分，去除重复值，最终获得每个网站的topics清单；
在这里插入图片描述

1 删除列

下载的csv文件会自动分列（只是猜想，不知道是不是这个原因），多了很多冗余列，使用Excel进行列删除直接卡死。用python处理有以下几个方法：

1.2 删除指定列外的其他列

删除有列名的列的方法： 

#查看表头
df.columns
#方法1：删除指定列
del df['related_topics']
#方法2：删除指定列
df = df.drop(['related_topics'],axis=1)
#方法3：保留指定列，适合需要保留的列数量较少的情况（相当于删除其他列）
test1 = df.loc[:,df.columns.isin(['site_short_name','article_title','article_url','topics'
 
推荐文章
没读研的日记本  ·  使用 PhpSpreadsheet 读取 excel 文件内容 | PHP 技术论坛
2 周前
瘦瘦的海龟  ·  如何在excel中制作二级子菜单-百度经验
2 周前
大鼻子的水龙头  ·  excel表格怎么做子项目 | PingCode智库
2 周前
有胆有识的红豆  ·  BOM 表工作表
2 周前
帅气的青蛙  ·  如何使用Excel做项目计划进度表？Excel制作项目计划进度表的步骤是什么？-板栗看板社区
2 周前
挂过科的油条  ·  步非烟1~210 下载 - 搜狗搜索
2 周前
卖萌的黄豆  ·  搜索结果
3 周前
茫然的钥匙  ·  特视网-范文写作网-底钧网
2 月前
朝气蓬勃的紫菜  ·  长江三峡越野赛完美收官 体验最美三峡_国家体育总局
1 年前
温柔的电梯  ·  c语言编程实现去掉字符串中的\n - CSDN文库
1 年前
Link管理   ·   Sov5搜索   ·   小百科
link管理 - 链接快照平台