最近在产生式模型研究上的突破证明了神经网络强大的表达能力：神经网络可以找到 几乎与真实数据难以分辨 的极为复杂的数据流形(如音频， 图像数据的流形)。下面是NVIDIA研究人员提出的新的基于产生式对抗神经网络的模型的生成结果：

训练难度 trainability ----给定一个有足够表达能力的模型结构， 我能够训练出一个好的模型吗(找到好的参数)

任何一个从数据中学习到一定功能的计算机程序都可以被称为机器学习模型。在 “学习”过程中， 我们在(可能很大的)模型空间内搜索一个比较好的， 利用数据中的知识学到的模型来做决策。 搜索的过程常常被构造成一个在模型空间上的优化问题。

研究现状：

监督学习中前馈神经网络和有显式目标函数的问题已经基本解决了(经验之谈， 没有理论保障)。2015年发表的一些重要的突破(批归一化( Batch Norm ), 残差网络( Resnets ), 良好初始化( Good Init ))现在被广泛使用， 这使得前馈神经网络的训练变得非常容易。事实上， 数百层的深度网络已经可以把 大的分类数据集的训练损失减小到零 。关于现代深度神经网络的硬件和算法基础结构，参考 这篇综述文章 。

回馈神经网络相对更加困难一些， 但是研究人员已经取得了重大进展。 现在我们不再把 直接将LSTM放到一个复杂的机器人策略 中并期望它取得良好效果看作是一件疯狂的事情。这很令人难以置信， 回望2014年，还只有很少人相信可以训出好的RNN模型，而再前些年有 很多 工作 指出RNN极其难以训练。有证据表明很多RNN结构有 相同的表达能力 ， 模型最终效果的差异仅仅是由于一些结构比另一些 更加易于训练 [4]。

无监督学习的模型输出常常大很多(并不是总是)—比如， 1024 x 1024像素的图片， 很长的语音和文本序列。很不幸， 这导致模型更加难以训练。

2017年一个比较大的突破是对抗式生成网络的训练难度大大下降了。 现在最受欢迎的改进是在对抗式生成网络原本的Jensen-Shannon 距离目标函数上进行小的修正:

最小二乘 (least square)， 带间隔的绝对偏差 (absolute deviation with magin)和使用Wasserstein距离( 1 , 2 ) 。 最近NVIDA的工作 改进了Wasserstein GAN 使之对很多超参， 比如BN的参数， 网络结构等不再敏感。模型的稳定性在实践和工业应用中非常重要-稳定性让我们相信它会和我们未来的研究思路和应用相兼容。总的来讲， 这些成果令人振奋， 因为这证明了我们的产生网络有足够的表达能力来产生正确的图像， 效果的瓶颈在于训练的问题--不幸的是对于神经网络来讲我们很难辩别一个模型表现较差仅仅是因为它的表达能力不够还是我们没有训练到位。

基于神经网络的含有离散隐变量的模型之前同样难以训练，因为离散变量的蒙特卡洛梯度估计具有很大的方差。近些年含离散变量的模型在各种结构中都有出现，从对抗式生成网络到语言模型到记忆增强网络到强化学习。从模型的表达能力的角度来看离散的表示是非常有用的，而且我们现在可以非常 可靠地训练 这些模型。

不幸的是， 即使在仅仅考虑可训练性，不考虑泛化的情况下， 强化学习也远远地落在了后面。在有多于一个时间步的环境中， 我们实际是在首先搜索一个模型， 这个模型在推理阶段会最大化获得的奖励。强化学习比较困难，因为我们要用一个外部的(outer loop)，仅仅依赖角色(agent)见过的数据的优化过程来找到最优的模型， 同时用一个内部的(inner loop)， 模型引导的最优控制(optimal control)过程来最大化获得的奖励。

最近我在一个连续的机器人控制任务上添加了一维，我的强化学习模型的效果就从超过80% 降到了10%。强化学习不仅难以训练， 而且非常不可靠！强化学习优化目标函数值的大小非常随机， 用不同的随机种子， 我们甚至就 不能得到相同的结果 。 这样我们只能报告使用不同的随机种子多次试验下奖励曲线的平均值。不同环境下，实现同样的算法我们经常得到不同的结果， 因此强化学习文章中报告的结果我们也不能轻易完全相信。

这很讽刺， 强化学习的训练还是一个很大的问题，因为我们稍微扩大一点问题的规模， 就不能在每次的实验中得到相同的结果。

如果我们把强化学习看作一个单纯的优化问题(先不考虑模型的泛化和复杂的任务)， 这个问题同样非常棘手。假设现在有一个环境， 只有在一个场景结束时才会有非常稀疏的奖励(例如：保姆照看孩子， 只有在父母回家时她才会得到酬劳)。动作(action)的数量(和它相应的环境输出)会随着场景的持续呈现指数性的增长， 而实际上这些动作(action)序列中只有极少数的会导致成功。

因此， 要想估计模型优化过程中任意一处的策略梯度， 我们都要采样指数增长的动作空间(action space)中的样本来获得一些对学习有用的信号。这就像是我们想要使用蒙特卡洛方法关于一个分布计算期望(在所有动作序列上)， 而这个分布集中于一个狄拉克函数(dirac delta distribution)(密度函数见下图)。在建议分布(proposal distribution)和奖励分布(reward distribution)之间几乎没有重叠时， 基于有限样本的蒙特卡洛估计会失效，不管你采了多少样本。

如果没有更好的表示方法， 我们可以就仅仅是在随机种子附近游走， 随机采样一些策略， 直到我们幸运地找到一个恰好落在‘’芝士的洞里”的模型。 事实上，这样训练出的模型效果其实很好。这说明强化学习的优化目标函数形状很有可能就是这样子的。

我相信像Atari和 MuJoCo这样的强化学习基准模型并没有真正提高机器学习的能力极限， 虽然从一个单纯优化问题来看它们很有趣。这些模型还只是在一个相对简单的环境中去寻找单一的策略来使模型表现得更好， 没有任何的选择性机制让他们可以泛化。 也就是说， 它们还仅仅是单纯的优化问题， 而不是一个复杂的机器学习问题。

考虑强化学习的泛化性(而不仅仅是训练)会让解释和调试变得更加复杂， 但是我认为让角色真正理解环境和任务目标，获得泛化的能力是让强化学习在真实世界的机器人系统中可以工作的唯一途径。

在监督学习和非监督学习中， 不管我们当前在模型空间的什么位置，我们可以很容易地获取到学习的信号。批(batch)数据梯度给出的建议分布和真实的梯度分布总会有重叠。如果我们使用批大小(batch size)为1 的随机梯度下降方法， 那么在最差情况下我们采样到得到有用的训练信号的转移的概率是1/N，N是数据集的大小(这样每一代的训练都会可靠地让模型变好)。为了找到一个较好的模型， 我们可以暴力地送入更多的数据或增加训练代数。此外， 通过在低层特征上的”自举”(bootstrapping)， 提高低层的感知泛化很可能还有减小方差的效果。

要想解决更高维，更复杂的强化学习问题， 在解决数值优化问题之前，我们必须先考虑模型的泛化和一般的感性认知能力。反之就会愚蠢地浪费计算力和数据(当然这可能会让我们明白仅仅通过暴力计算我们可以做得多好)。 我们要让每个数据点都给强化学习提供训练信息，也需要能够在不用指数增长的数据时就能通过重要性采样(importance sampling)获得非常复杂的问题的梯度。只有在这样的情况下， 我们才能确保通过暴力计算我们可以获得这个问题的解。

示范学习(learning from demonstration)， 模仿学习(imitation learning)，逆向强化学习(inverse reinforcement learning)以及用自然语言进行交互学习可能会快速地让初始策略可以得到训练信号(得到一个好的初始化)， 或者改变搜索空间的形状使得每个场景片段(episode)都可以提供有效的信息来训练策略(policy) (比如说，不给予奖励，但是角色的观察会提供一些信息来帮助模型进行规划， 使之倾向于做某些有意义的动作)

最后做一个总结：监督学习的训练比较容易。 无监督学习的训练相对困难但是已经取得了很大的进展。但是对于强化学习，训练还是一个很大的问题。

在这三个问题中， 泛化性能是最深刻的，也是机器学习的核心问题。简单来讲， 泛化性能用来衡量一个在训练集上训练好的模型在测试集上的表现。

泛化问题主要可以分为两大类：1) 训练数据与测试数据来自于同一个分布(我们使用训练集来学习这个分布)。 2)训练数据与测试数据来自不同的分布(我们要让在训练集上学习的模型在测试集上也表现良好)。 通常我们把(1)称为“弱泛化”， 把(2)称为“强泛化”。 我们也可以把它们理解为“内插(interpolation)”和“外推(extrapolation)”， 或“鲁棒性(robustness)”与“理解(understanding)”。

弱泛化: 考虑训练集与测试集数据服从两个类似的分布

----如果数据的分布发生了较小的扰动， 模型还能表现得多好？


在“弱泛化”中， 我们通常假设训练集和数据集的数据分布是相同的。但是在实际问题中， 即使是‘’大样本’’(large sample limit)情况下， 二者的分布也总会有些许差异。

这些差异有可能来源于传感器噪声，物体的磨损，周围光照条件的变化(可能摄影者收集测试集数据时恰好是阴天)。对抗样本的出现也可能导致一些不同， 对抗的扰动很难被人眼分辨，因此我们可以认为对抗样本也是从相同的分布里采出来的。

因此， 实践中把“弱泛化”看作是评估模型在“扰动”的训练集分布上的表现是有用的。