论文链接：https://www.nature.com/articles/s42256-022-00569-2
深度学习已经成功地应用于模拟偏微分方程（PDE）描述的计算成本很高的复杂物理过程，并实现了卓越的性能，从而加速了不确定性量化、风险建模和设计优化等众多任务。但此类模型的预测性能通常受到用于训练的标记数据的可用性的限制。
然而，在许多情况下，收集大量且足够的标记数据集在计算上可能很棘手。此外，孤立学习（即为独特但相关的任务训练单个预测模型）可能非常昂贵。
为了解决这个瓶颈，可以在称为迁移学习的框架中利用相关领域之间的知识。在这种情况下，来自在具有足够标记数据的特定域（源）上训练的模型的信息可以转移到只有少量训练数据可用的不同但密切相关的域（目标）。
由于缺乏针对特定任务的算子（operator）学习和不确定性量化的 TL 方法，在这项工作中，研究人员提出了一个使用神经算子在条件转换下高效 TL 的新框架。
研究人员将目标神经算子称为迁移学习深度算子网络 (TL-DeepONet)。这项工作背后的主要思想是在标准回归损失下从源域训练具有足够标记数据（即模型评估）的源模型，并将学习的变量迁移到第二个目标模型，该目标模型在混合损失函数下用来自目标域的非常有限的标记数据训练。混合损失包括回归损失和条件嵌入算子差异 (CEOD) 损失，用于衡量再现核希尔伯特空间 (RKHS) 中条件分布之间的差异。所提出框架的关键要素是利用源模型提取的域不变特征，从而有效地初始化目标模型变量。在这项工作中，研究人员采用了更通用的深度神经算子 (DeepONet)，它使我们能够充分学习算子，从而对任意新输入和复杂域执行实时预测。重要的是，所提出的迁移学习框架能够在标记数据非常有限的领域中识别 PDE 算子。
这项工作的主要贡献可归纳如下
：
-
提出了一种新的框架，用于在深度神经算子的条件转移下迁移学习问题。
-
所提出的框架可用于快速高效的特定于任务的 PDE 学习和不确定性量化。
-
利用 RKHS 和条件嵌入算子理论的原理来构建新的混合损失函数并对目标模型进行微调。
-
所提出框架的优点和局限性通过各种迁移学习问题得到证明，包括由于域几何、模型动力学、材料特性、非线性等变化引起的分布变化。
研究人员提出了参数 PDE 的迁移学习问题的综合集合，以评估所提出方法的有效性。图 2 给出了所考虑的不同基准的直观描述。首先介绍基准问题以及所考虑的迁移学习场景，然后提供实验结果。
因此，研究人员训练 DeepONet 代理来预测两个不同的模型输出。在这个例子中，考虑以下两个 TL 场景：
TL5：将学习从具有中心圆形内部边界和材料特性（ES = 300 × 10^5, νS = 0.3）的域转移到右上角和左下角具有两个较小圆形内部边界和不同材料特性（ET = 410 × 10^3, νT = 0.35)。
TL6：将学习从具有中心圆形内部边界和材料特性的域 (ES = 300 × 10^5, νS = 0.3) 迁移到具有方形内部边界和不同材料特性的域(ET = 410 × 10^3, νT = 0.45) 。
研究发现，所提出的 TL 框架允许多任务学习，即使源域和目标域存在不止一个方面的差异。在弹性模型中，这两个域具有不同的内部边界和不同的材料特性。对目标数据集大小的研究表明，大约 200 个样本足以模拟 TL5 中从源域到目标域的条件转移。
总的来说，研究发现在解决条件分布不匹配的 PDE 问题时，转移先前获得的知识（即从模型的较低级别学习的域不变特征）和对网络的较高级别层进行优化，可以实现高效的多任务算子学习。
