聊一下关于去重计数的多种实现方式

[[403886]]

本文转载自微信公众号「数据大宇宙」，作者卡门的儿子。转载本文请联系数据大宇宙公众号。

这是一个关于 pandas 从基础到进阶的练习题系列，来源于 github 上的 guipsamora/pandas_exercises 。这个项目从基础到进阶，可以检验你有多么了解 pandas。

我会挑选一些题目，并且提供比原题库更多的解决方法以及更详尽的解析。

如下数据：

数据描述：

此数据是订单明细表。一个订单会包含很多明细项，表中每个样本(每一行)表示一个明细项

order_id 列存在重复

quantity 是明细项数量

需求：数据中共有多少个订单?

下面是答案了

因为 order_id 列是存在重复的，那么一种比较直观的方式就是去重+计数：

len(df.order_id.drop_duplicates()) 
1834 

Series.drop_duplicates() 返回的仍然是一个 Series

len 函数可以计算 Series 值数量

但是你可能不知道的是，这个方式是不准确的!

之所以说上一种方式是不准确，是因为没有考虑到空值的问题。

len 函数不会忽略空值(nan) ，因此如果列中有空值，那么就比正确结果数量多。

正确的做法是：

len(df.order_id.drop_duplicates().dropna()) 

使用 Series.dropna() 方法可以去掉 nan 值

即使列中有多个 nan ，经过去重后只会保留一个 nan 值

实际上，pandas 本身有提供一个忽略 nan 的计数方法：

df.order_id.drop_duplicates().count() 

这种方式个人认为最合适

pandas 为列(Series)提供了一个快速汇总计数方法：

df.order_id.value_counts() 

Series.value_counts() 相当于 根据 order id 分组，统计数量。并且排除 nan

这相当于实现了去重，因此：

df.order_id.value_counts().count() 

这是原项目的解法，不太直观，不推荐使用

我本人经常把 value_counts 方法中s的位置搞错

不过我自制了一个方法查询器，这样子不至于记错方法：