数据错误（例如训练集中的错误标记示例）会降低模型性能，数据集级别的问题（如重叠类）也会降低模型性能。即使在 gold-standard 基准数据集中，测试集错误也很常见，这可能会误导数据科学家选择劣质模型进行部署。虽然探索复杂的建模技术听起来比手动检查和清理单个数据点更有吸引力，但往往是后者提供了更大的收益。
为了帮助数据集纠错效率的提升，来自 MIT、亚马逊的研究者创造了数据标注纠错工具 Cleanlab。Cleanlab 通过仅自动标记真正需要注意的一小部分数据来减少此过程中的痛苦。
论文链接：
https://arxiv.org/abs/2103.14749
在这篇文章中，三人对 10 个主流机器学习数据集的测试集展开了研究，发现它们的平均错误率竟高达 3.4%。其中，最有名的 ImageNet 数据集的验证集中至少存在 2916 个错误，错误率为 6%；QuickDraw 数据集中至少存在 500 万个错误，错误率为 10%。
既然数据标注错误如此普遍，但又十分重要，那 cleanlab 是怎么解决这个问题的呢？
实现 80% 的自动化
Cleanlab 通过提供一个框架来简化以数据为中心的 AI ，帮助数据科学家和 ML 工程师完成 80% 的工作。Cleanlab 通过查找和修复示例级、类级和数据集级问题，支持机器学习和分析工作流，处理混乱的现实世界数据；测量和跟踪整体数据集质量；并为机器学习管道提供清洁数据。
「Cleanlab 背后的算法理论受到了量子信息理论的启发，当时我们的 CEO 正在麻省理工学院进行博士研究。我们的一些用户认为 Cleanlab 是黑魔法，但它大部分是发表在顶级 ML/AI 会议和期刊上的数学和科学研究。」
2021 年底，Cleanlab 公司成立。在过去的一年里，数十家科技、医疗保健、金融和数据相关的公司（例如特斯拉、摩根大通、Chase、富国银行、微软等）已经开始使用 cleanlab。迄今，这个项目已经累积了 3k Star：
cleanlab 2.0
cleanlab 2.0 是一个开源框架，用于机器学习和分析杂乱的真实数据。基于 MIT 的研究，cleanlab 可以识别数据集中的错误，测量数据集质量，用噪声数据训练可靠模型，并帮助管理高质量的数据集，每一个都只需要几行代码。
项目地址：
https://github.com/cleanlab/cleanlab
此外，cleanlab 的所有功能都适用于任何数据集和任何模型，包括 scikit-learn、PyTorch、Tensorflow、Keras、JAX、HuggingFace、MXNet、XGBoost 等。如果你使用与 sklearn 兼容的分类器，cleanlab 可以开箱即用。
更多细节可参考项目文档。
