而且实验上也有明显的效果：
https://github.com/thuml/Transfer-Learning-Library/tree/master/examples/domain_adaptation/image_regression
2.4 间隔理论Margin Disparity Discrepancy
在分类问题中，交叉熵损失函数相比于 0-1 损失函数，一个重要的性质是，它在训练准确率为 100% 的时候依然存在损失。即使训练集的准确率没有变化（也就是 0-1 损失没有变化），当交叉熵损失下降时，测试集上的错误率也能随之下降。为了解释这个现象，学术界基于提出了
间隔学习理论（Margin Theory）
。
这个结论至少有两个用处：
1. 当下游任务和预训练任务差异较大时，为了降低允许的函数空间，一种有效的策略是先在源域上进行预训练，然后再迁移到目标域。（这也是 RegDA
[6]
采用的策略）；
2. 经过预训练后，小模型允许的函数空间反而比大模型大，导致在越大的模型上进行域自适应获得的增益越大（REDA
[8]
观察到的实验现象）。因此实践中一种有效的策略是，先用大模型进行域自适应，然后将迁移得到的大模型的知识蒸馏到小模型上。
本文主要参考 Transferability in Deep Learning: A Survey
[9]
中的章节 3.2.0 Domain Adaptation Theory，以及清华大学龙明盛老师的迁移学习理论讲座：
http://ise.thss.tsinghua.edu.cn/~mlong/doc/transfer-learning-theories-algorithms-open-library-ijcai
感兴趣的读者可以阅读原文：
https://arxiv.org/abs/2201.05867
文献综述：
https://arxiv.org/pdf/2201.05867.pdf
Paper List：
https://github.com/thuml/Awesome-Transfer-Learning
算法库Github：
https://github.com/thuml/Transfer-Learning-Library
算法库网站：
https://transfer.thuml.ai/
[2] Shai Ben-David, John Blitzer, Koby Crammer, and Fernando Pereira. Analysis of repre- sentations for domain adaptation. In NeurIPS, 2006.
[3] S. Ben-David, J. Blitzer, K. Crammer, A. Kulesza, F. Pereira, and J. W. Vaughan. A theory of learning from different domains. Machine Learning, 79, page 151–175, 2010a.
[4] Yaroslav Ganin and Victor Lempitsky. Unsupervised domain adaptation by backpropaga- tion. In ICML, 2015.
[5] abYuchen Zhang, Tianle Liu, Mingsheng Long, and Michael Jordan. Bridging theory and algorithm for domain adaptation. In ICML, 2019c
[6] abJunguang Jiang, Yifei Ji, Ximei Wang, Yufeng Liu, Jianmin Wang, and Mingsheng Long. Regressive domain adaptation for unsupervised keypoint detection. In CVPR, 2021.
[7] Armen Aghajanyan, Luke Zettlemoyer, and Sonal Gupta. Intrinsic dimensionality explains the effectiveness of language model fine-tuning. In ACL, 2021.
[8] Junguang Jiang, Ximei Wang, Mingsheng Long, and Jianmin Wang. Resource Efficient Domain Adaptation
[9] Junguang Jiang, Yang Shu, Jianmin Wang, Mingsheng Long, Transferability in Deep Learning: A Survey https://arxiv.org/abs/2201.05867
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？
答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是
最新论文解读
，也可以是
学术热点剖析
、
科研心得
或
竞赛经验讲解
等。我们的目的只有一个，让知识真正流动起来。
📝
稿件基本要求：
• 文章确系个人
原创作品
，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以
markdown
格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供
业内具有竞争力稿酬
，具体依据文章阅读量和文章质量阶梯制结算
📬
投稿通道：
• 投稿邮箱：
[email protected]
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（
pwbot02
）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
