MCDropout 用于多任务学习
【摘 要】 理解模型的不确定性(uncertainty)是机器学习的关键。但能够理解不确定性的传统机器学习方法(如高斯过程,Gaussian Processes, GP),很难应用于如图像、视频等高维数据。深度学习(Deep Learning)能够高效处理该类数据,但其难以对不确定性建模。本文将介绍一个重新兴起的领域,称为贝叶斯深度学习 (贝叶斯深度学习),它提供了一个可以建模不确定性的深度学习框架。贝叶斯深度学习可以达到最先进的结果,同时也能理解不确定性。
【原 文】 见 Deep Learning Is Not Good Enough,We Need Bayesian Deep Learning for Safe AI
【阅后感】 本文作者是 MC Dropout 方法提出团队的成员之一,本文以博客形式发布,浅显易懂,可以作为入门级别的读物。重点掌握:(1)不确定性的来源和分类;(2)不同不确定性的建模思路;(3)在偶然不确定性方面,作者提出了数据依赖和任务依赖两种子类型,并针对任务依赖型数据不确定性进行了建模;(4)具体技术细节参考博文中提供的两篇论文。
1、 背景
...