引言

医学图像分割是决定医学图像在临床诊疗中能否提供可靠依据的关键手段 ^{[ 1 - 2 ]} 。随着人工智能技术的发展，基于神经网络的医学图像智能分割得到广泛应用 ^{[ 3 - 4 ]} ，已经成为人工智能辅助诊疗的重要技术 ^{[ 5 - 6 ]} 。

通过人工智能方法进行医学图像分割的过程中，域转移成为一个重要挑战 ^{[ 7 ]} 。这主要是由于通过源域训练好的分割模型是针对某种特定类型序列图像的，在其他类型序列图像上分割相同组织时会不匹配，从而导致精度下降。精度误差通常与源域和目标域之间的分布差异成比例。因此，通过源域数据训练的模型，在对目标域数据分割时常常不能达到期望的效果。但研究人员们希望无论数据来自哪个域，都可以使用一个通用模型获得有效的分割结果。解决域转移问题，成为医学图像分析中的迫切需求。

为了应对域转移挑战，研究者提出了域自适应方法 ^{[ 8 ]} ，较为常见的为图像级域自适应和特征级域自适应。要使分割网络适应目标域图像，可以通过使用有标签的目标域数据对分割网络进行调整来实现，但这需要对目标域数据进行注释。而图像分割需要进行像素级注释，与其他任务（如图像分类）相比，为分割任务注释数据要困难得多，从而导致分割任务图像通常缺乏人工标签。因此，无监督的域自适应方法受到越来越多的关注。

从图像层面进行的域自适应称为图像级域自适应，经常使用生成对抗网络（generative adversarial network，GAN）作为框架 ^{[ 9 - 11 ]} ，尤其是Zhu等 ^{[ 12 ]} 提出的CycleGAN，它可以将一个图像转换成另一种图像风格，而不需要成对的训练样本。Wollmann等 ^{[ 13 ]} 提出了一种基于CycleGAN的乳腺癌分类方法，首先使用CycleGAN将淋巴结的全切片图像从源域转换到目标域，然后将DenseNet用于乳腺癌分类。Hiasa等 ^{[ 14 ]} 基于CycleGAN并结合边缘损失将全髋关节磁共振（magnetic resonance，MR）图像转化为电子计算机断层扫描（computed tomography，CT）图像，并使用U-Net对生成的CT图像进行分割。但他们使用的非端到端的分割方法，不仅推理时间长，而且相对来说训练也更加复杂。此外，Liu等 ^{[ 15 ]} 同样使用CycleGAN将不同类型的膝关节MR图像序列进行转化和分割，但他们使用的2维卷积神经网络结构会限制单个切片内的图像特征，并且当图像之间的对比度不一致时，可能会导致分割偏差。

从特征层面进行的域自适应称为特征级域自适应，其主要目的是将源域数据和目标域数据映射到同一个特征空间，促使生成器学习跨域特征。Javanmardi等 ^{[ 16 ]} 提出了基于GAN的域自适应方法，并在公开的眼血管数据集和电子显微镜神经元图像分割数据集中进行了实验，将U-Net作为生成器用于图像的分割，使用另一个卷积神经网络作为鉴别器对分割结果进行分类，使用0或者1进行标记。Panfilov等 ^{[ 17 ]} 同样基于GAN对膝关节软骨进行了分割，不仅如此，实验中使用了两个鉴别器对不同阶段的特征进行分类，以在高维特征层面进行特征自适应学习，并且在三个数据集上进行了实验，在股骨软骨和胫骨软骨上最好的分割准确度结果提高了3.0%和6.8%。但此工作只对软骨进行了分割，且使用的源域与目标域数据均来自同一公司生产的设备，MR图像间差异较小。

为了更加有效地解决域转移问题，提高分割网络自适应性，本文提出了一种基于GAN的无监督端到端特征级域自适应医学图像分割方法。同时对比分析了本文提出的特征级域自适应方法与三种经典方法：① 直接使用由源域数据训练的分割网络对目标域图像进行分割；② Zhu等 ^{[ 12 ]} 于2017年提出的图像级域自适应方法；③ Panfilov等 ^{[ 17 ]} 于2019年提出的特征级域自适应方法。进一步的，使用来自不同MR设备且灰度值存在显著差异的膝关节MR图像数据集进行域自适应实验，对所提域自适应方法进行了有效性验证。

1. 特征级域自适应图像分割方法设计

本文设计了一种无监督端到端特征级域自适应图像分割方法，整体流程如 图1 所示（ ：源域数据， ：源域分割标签， ：目标域数据， ：目标域分割标签）。针对医学图像分割中人工标注工作繁琐、主观性强等问题，我们采用GAN针对目标域数据进行无监督学习训练。我们所提的无监督训练是指在解决域转移问题过程中，只使用目标域数据而未使用目标域标签。GAN中生成器的梯度更新信息来自鉴别器，而不是来自数据样本，同时我们将源域标签作为鉴别器输入，使其更加适合针对目标域数据的无监督训练。本文采用了以残差模块为基本模块的分割网络，增强了对特征的复用能力。通过源域数据进行分割网络预训练，获得适合源域数据的参数作为GAN中生成器即分割网络的参数初值。鉴别器结构为卷积神经网络，其中目标域数据通过重采样与中心裁剪匹配源域数据格式，与源域分割标签的独热编码一起作为鉴别器的输入。再通过GAN对分割网络参数进行学习和调整，获得适合目标域的分割网络参数。随后通过戴斯相似性系数（Dice similarity coefficient，DSC）进行分割精度检验。本文所设计无监督域自适应方法基于Pytorch ^{[ 18 ]} 实现。

生成器 使用之前在我们的工作中提出的分割网络 ^{[ 5 ]} ，具体如 图2 所示。分割网络的基本模块为残差模块，这样设计既增加了网络对特征的复用能力，又起到了降低优化难度的作用。利用并行的扩张卷积模块获取不同的感受野，克服了U-Net模型中单一感受野的局限性，有效提高分割能力的鲁棒性。使用空洞空间金字塔池化模块（atrous spatial pyramid pooling，ASPP），利用具有不同感受野的卷积操作，获取丰富的上下文信息。同时多输出融合的深监督模块能直接利用不同层次的特征，实现多尺度特征信息互补，最终提高了分割区域的连贯性和准确性。

鉴别器 D 的结构如 图3 所示，本结构中鉴别器共由5个卷积层组成，初始卷积核数量设置为64，第二层卷积核个数为128，随后逐层加倍，最后一层输出通道被设置为1，再通过双线性插值将最后一层的输出还原至384×384，即原始图像的分辨率大小。所使用的激活函数采用Leaky ReLU。

生成器的具体训练流程如 图4a 所示，源域图像 与目标域图像 作为生成器输入，生成器输出图像分割结果。损失函数设置如公式(1)所示，由分割损失与对抗损失两部分组成。 使用 softmax 函数， 为分割结果的概率值。

a. 生成器训练流程； b. 鉴别器训练流程

a. the generator training process; b. the discriminator training process

鉴别器的具体训练流程如 图4b 所示，本文将源域数据分割标签的独热编码作为鉴别器输入之一，选取二分类交叉熵作为其损失函数，鉴别器的输出是与图像分辨率一致的矩阵。二分类交叉熵损失为：

对于源域数据，本文中将其标签设定为矩阵0，对于本地数据其标签为矩阵 1 。将 和 分别代入交叉熵损失后相加，可得鉴别器损失函数。且式中 为由生成器得到的源域图像分割标签概率图，我们将此替换为源域标签 的独热编码，设计了如式(3)所示的鉴别器损失函数，以增加鉴别器精度。

2. 实验数据与实验设计

膝骨关节炎是一种慢性退行性关节疾病，会导致患者关节疼痛和运动障碍。关节软骨的体积和厚度是膝骨关节炎检测和分级的重要指标之一 ^{[ 19 ]} 。MR成像长期以来被认为是最强大的膝关节检查工具 ^{[ 20 ]} ，临床上通常用于研究膝关节，特别是关节软骨的内部结构变化。对于需要进行膝关节置换术的晚期膝骨关节炎患者，利用分割后的MR图像进行三维重建可以构建患者的膝关节模型，用于个性化假体设计和术前规划 ^{[ 21 ]} 。但是由于成像设备差异、同一设备扫描参数差异等原因，域转移问题在膝骨关节炎MR图像的分割中经常出现，并仍未得到有效解决。因此，本文选取了来自不同MR设备且灰度值存在显著差异的膝关节MR图像数据集进行了域自适应方法验证实验。

设计实验，对比分析本文所提特征级域自适应方法和三种经典方法：① 直接使用由源域数据训练的分割网络对目标域图像进行分割；② Zhu等 ^{[ 12 ]} 于2017年提出的图像级域自适应方法；③ Panfilov等 ^{[ 17 ]} 于2019年提出的特征级域自适应方法。

3. 模型训练与结果分析

本文将所提特征级域自适应方法与三种经典方法分别进行了训练与分割实验，同时也对CycleGAN在本文所用数据集中图像风格转化的有效性进行了验证。为了直观地展示各种方法在图像分割结果上的差异，随机选取了两幅目标域图像进行不同方法的分割结果定性对比。最后采用戴斯相似性系数对各分割方法在测试集中的分割精度进行了量化评估与对比分析。

4. 结论

本文针对医学图像智能化分割面临的域转移挑战，提出了一种基于GAN的无监督端到端特征级域自适应图像分割方法。在膝关节MR图像公开数据集和我们合作医院的膝关节MR图像临床数据集上进行了域自适应实验，结果表明所提方法能有效提高分割模型的域自适应能力，显著提高了对胫骨和股骨的分割精度。本文使用膝关节MR图像进行方法验证，此方法还可推广至其他部位的医学图像分割，如髋关节等。未来将开发结合图像级域自适应与特征级域自适应的方法，结合两者优势，同步提高骨性区域与软骨区域的分割精度，从而更好地在临床中为假体设计与术前规划等提供帮助。同时，MR图像是由多个存在前后关系的二维图像切片组成，这些切片包含丰富的结构信息，在以后的工作中，将会基于GAN在无监督训练上的优势，研发基于图像切片间相关性的域自适应图像分割方法，进一步提高分割精度。

重要声明：

利益冲突声明：本文全体作者均声明不存在利益冲突。

作者贡献声明：孙玉波主要负责研究框架设计、方法设计与实现、数据处理与分析、文稿写作以及最后定稿。刘嘉男主要负责方法设计与实现、对比方法代码设计与实现、数据集处理与分析以及文稿写作。孙泽文主要负责数据集整理、打标、分析与解释。韩建达教授与于宁波教授主要负责课题构思与设计、资料的分析和解释、对文稿关键方法与学术内容的修改以及最后定稿。

Funding Statement

国家自然科学基金（U1913208，61873135，61720106012）；国家重点研发计划（2018YFB1307803）