该研究针对深度学习中无监督域适应问题,提出Patch-Mix Transformer策略,通过构建中间域缓和源域与目标域的差异。通过混合patch与标签,使用交叉熵损失衡量域差异,并设计最小-最大策略确保特征提取器在不同域中保持不变性。研究利用注意力分数减少背景干扰,并在源域和目标域上进行特征对齐,以实现更有效的域适应。
摘要由CSDN通过智能技术生成
通过类别级对齐并生成伪标签可减轻域差异,常用的类别级对齐手段有度量学习、对抗性学习、最优传输。
交叉注意力可用于域对齐,但目标域伪标签的质量对交叉注意力的影响极大,而域差异极大的情况下难以生成高质量伪标签。
二、研究目标
通过构建中间域来平滑地连接源域和目标域。
三、研究动机
相对于直接对齐源域、目标域,缓解二者与中间域的差异也可以促进域对齐。
在不存在域差异的情况下,特征混合等同于标签混合,因此可以用混合特征与混合标签之间的交叉熵损失来衡量域差异。
四、技术路线
思路:
当域对齐时,混合patch等同于混合标签
构建中间域数据,令混合patch的预测结果接近标签
构建最大最小策略,令特征提取器与分类器在中间域数据混合效果不佳时仍能提取到域不变特征。
PatchMix:
(1)分块混合图片与标签(目标域伪标签)
(2)用注意力分数
a
(实际上是nn.Conv2d( 通道3->64, 卷积核大小(7, 7), 步长(4, 4), 填充(2, 2))的卷积操作,然后归一化)
3、模板,在线模板和搜索做拼接(以组和通道做高宽,以原始的(w,h)拉伸作为拼接的通道)
4,然后进入block
4.1、Norm归一化
4.2、进入Att模块
4.2.1、 ...