BAAI 2020 北京智源大会 | 林伟 | Instrumental Variables for Multiple Causal Inference: Old and New

最新推荐文章于 2022-07-14 23:16:05 发布

SDUERPANG 最新推荐文章于 2022-07-14 23:16:05 发布阅读量457

林伟研究员(北京大学研究员，智源学者)在本次talk中主要介绍了使用instrumental variables 来进行因果推理，通过设置一系列的assumption，将IV中的经典方法Two-stage least squares扩展到高维，并得到了很好的实验结果。

研究者一直在诟病深度学习等里面的“黑箱”算法，我们怎么来理解我们模型中变量之间的因果机制，是一个非常重要的问题，尤其是对发展下一代AI来说。在下图中的例子中我们不知道是x造成了y，还是y造成了x，我们只能观察到x和y之间的联合分布。进一步说明 multiple causal models can lead to the same prediction model
在这里插入图片描述
回顾了Judea Pearl提出的几个因果推理的工具。本次talk主要涉及到

causal assumption 在你了解你的method之前这一部分是最critical的
control confounding 这是因果推理中最难的一部分
mediation analysis 本次talk中主要涉及区分direct effect 和indirect effect

在现代机器学习中我们不能仅仅关注一个简单cause 变量，我们需要关注多变量甚至是高纬度的cause变量。
在这里插入图片描述

介绍IV，就算是X对Y没有影响，但是由于U的存在，会使X和Y显得correlated。
在这里插入图片描述
继续介绍IV，目标是要把Two-stage least squares方法扩展到高维

IV的第三个条件是最苛刻的，我们能对它进行relax吗？

介绍了高纬度的instrumental variable，但是会引起biased，该如何解决？
在这里插入图片描述
对IV的第三个assumption进行relax，但是又遇到了identifiability 的问题：因为Z在两个式子中都出现，无法分清Z和α的direct effect和indirect effect，应该怎么做？

将identifiability问题转换为解linear system，但是这个方程是不能解的，不过如果我们将solution假想成sparse，是能解的。从compressed sensing中借鉴了一些思想，变成structed compressed sensing problem。

又给了一个assumption，使得方程能够可解。
在这里插入图片描述
在前面得到identification的结果后，扩展Two-stage least squares方法来estimate我们感兴趣的参数。

给了相应的理论证明。

做了一些实验：如果identification问题能满足，那么我们的方法是最好的；如果不能满足，那么所有的方法都会fail。
在这里插入图片描述
怎样将这些研究应用到真实的AI系统中呢？

BAAI 2020 北京智源大会 | 林伟 | Instrumental Variables for Multiple Causal Inference: Old and New Instrumental Variables for Multiple Causal Inference: Old and New回放地址报告内容概述主要内容功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入回放地址林伟-Inst

传统ols中的hypothesis要求xix_ixi与uiu_iui无关。但是在实际中很难满足这个假设，有时候因变量（在单方程模型中就是内生变量）也会反过来影响自变量。ols估计将是有偏和不一致的，（有偏指的是参数估计值于期望值不相等，一致性是大样本依概率收敛于期望值，可以参考另外一个博文）。这个时候比较有效的方法是采取工具变量法进行估计参数值。 Namely， an apppropriat...

Potential outocomes framework 什么是potential outcome呢？考虑在医学中，X=0表示不吃药，X=1表示吃药，那么很显然，一个人是没有办法同时吃药与不吃药的，所以我们只能够观测到其中的一个结果，即Y(0)\displaystyle Y( 0)Y(0)或Y(1)\displaystyle Y( 1)Y(1)，而X只是用于选择观测的结果。然而每个人对于吃药的结果是有可能不同的，比如有的人不管吃不吃都没法变好，有的人吃了就能恢复了，有的人吃了反而更难受了，还有的不管吃

通过这个链接????进行复习学习。https://github.com/scutan90/DeepLearning-500-questions 目标检测（Object Detection）就是要从图像上找到目标。存在的难点主要有：同一种目标可能有不同外观、形状、姿态；同一张图片场景可能有不同的环境因素干扰（光照、遮挡、色差）；目标检测要检测目标在图像中的位置，目标可能会出现在图像中任意位置，而且同一个位置可能有不同大小、角度的目标。 One-stage 单次目标检测算法（包括SSD系列和YOLO

Learning Based Optimization回放地址报告内容概述主要内容大纲Part Ⅰ Complexities in OptimizationPart Ⅱ Learning Based Optimization : OverviewPart Ⅲ Learning Based Optimization : Paradigm 1Part Ⅳ Learning Based Optimization : Paradigm 2Conclusions 2020 北京智源大会 机器学习 专题论坛

Optimality Conditions for Constrained Minimax Optimization回放地址报告内容概述Part Ⅰ Background for Minimax OptimizationPart Ⅱ Differential of the Value FunctionPart Ⅲ Optimality Conditions 戴彧虹-Optimality Conditions for Constrained Minimax Optimization

A Blueprint of Standardized and Composable Machine Learning回放地址报告内容概述主要内容 2020 北京智源大会 机器学习 专题论坛人们对ML/AI的期望越来越高，期待ML/AI能解决人类所有的问题，但是为了实现这些，你会发现有很多困难。你需要处理众多的ML/AI 模型，但是噩梦不在这里，当你选择模型后，你会发现有大量的算法和启发式理论，再此之后，你还需要处理大量不同的数据，如果你运气不好的话，这些数据中可能会包含