基于SRGAN的图像超分辨率处理

论文地址： Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

复现代码： Github-SRcode

图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，包括时间分辨率、空间分辨率及色阶分辨率等，体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。但在实际上情况中，受采集设备与环境、网络传输介质与带宽、图像退化模型本身等诸多因素的约束，我们通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。提升图像分辨率的最直接的做法是对采集系统中的光学硬件进行改进，但是由于制造工艺难以大幅改进并且制造成本十分高昂，因此物理上解决图像低分辨率问题往往代价太大。由此，从软件和算法的角度着手，实现图像超分辨率重建的技术成为了图像处理和计算机视觉等多个领域的热点研究课题。

图像的超分辨率重建技术指的是将给定的低分辨率图像通过特定的算法恢复成相应的高分辨率图像。具体来说，图像超分辨率重建技术指的是利用数字图像处理、计算机视觉等领域的相关知识，借由特定的算法和处理流程，从给定的低分辨率图像中重建出高分辨率图像的过程。其旨在克服或补偿由于图像采集系统或采集环境本身的限制，导致的成像图像模糊、质量低下、感兴趣区域不显著等问题。

简单来理解超分辨率重建就是将小尺寸图像变为大尺寸图像，使图像更加“清晰”。具体效果如下图所示。

现今，超分辨率问题的病态性质尤其表现在取较高的放大因子时，重构的超分辨率图像通常会缺失纹理细节。监督SR算法的优化目标函数通常取重建高分辨率图像和地面真值之间的均方误差，在减小均方误差的同时又可以增大峰值信噪比(PSNR)，PSNR是评价和比较SR算法的常用指标。但是MSE和PSNR值的高低并不能很好的表示视觉效果的好坏。正如Figture2表现出的，PSNR最高并不能反映最好的视觉SR效果。

SRGAN，由论文《 Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network 》提出。文章使用了结合跳跃-连接（skip-connection）的深度残差网络（ResNet）。通过使用VGG网络的高层特征映射定义了新的感知损失，该损失使用的判别器使生成的高分辨率图像与实际原始图像在视觉上尽量相似。

本文实验原理基于SRGAN的图像超分方法，下面分析该论文的理论内容：

核心目标：训练一个生成器 $G$ ，对低分辨率图像进行超分恢复。

$ I^{HR} $：原始高分辨率图片

$ I^{SR} $：超分辨率恢复照片

$ I^{LR} $：原始高分辨率图片 高斯滤波 + bicubic 下采样 后的低分辨率图片

生成器参数更新： \hat{\theta} {G}=\arg \min {\theta {G}} \frac{1}{N} \sum {n=1}^{N} l^{S R}\left(G_{\theta_{G}}\left(I_{n}^{L R}\right), I_{n}^{H R}\right) 这段公式是生成网络优化的核心：由原始高分图像下采样的低分图像经生成器恢复后，与原始高分图像计算损失，再对总损失沿负梯度方向优化。

而作为文章的创新之一，损失函数 $l^{SR}$ 作者并没有用通常的MSE loss，而是提出基于改进的感知损失函数(Perceptual loss function) ，它由content loss 和 adversarial loss 加权获得： l^{S R}=\underbrace{\underbrace{l_{\mathrm{X}}^{S R}} {\text {content loss }}+\underbrace{10^{-3} l {G e n}^{S R}} {\text {adversarial loss}}} {\text {perceptual loss (for VGG based content losses)}}

通常的 content loss 由逐像素的 MSE loss 表示： l_{M S E}^{S R}=\frac{1}{r^{2} W H} \sum_{x=1}^{r W} \sum_{y=1}^{r H}\left(I_{x, y}^{H R}-G_{\theta_{G}}\left(I^{L R}\right) {x, y}\right)^{2} 而在这里，作者取代传统的逐像素 MSE loss，使用 VGG loss，更加考虑全局相关性 。这里的 $\phi {i, j}$ 表示在 VGG19 网络中的第 i 个最大池化层之前通过第 j 个卷积（激活后）获得的 $W \times H$ 特征图，使用原图和生成图像经过VGG19后特征图的欧氏距离表示 loss ，计算表达式如下： \begin{aligned} l_{V G G / i . j}^{S R}=\frac{1}{W_{i, j} H_{i, j}} & \sum_{x=1}^{W_{i, j}} \sum_{y=1}^{H_{i, j}}\left(\phi_{i, j}\left(I^{H R}\right) {x, y}\right.\left.-\phi {i, j}\left(G_{\theta_{G}}\left(I^{L R}\right)\right)_{x, y}\right)^{2} \end{aligned}

对于 adversarial loss $l_{G e n}^{S R}$ ，作者基于判别器在所有训练样本上的判别准确率之和，$ D_{\theta_{D}}\left(G_{\theta_{G}}\left(I^{L R}\right)\right) $ 表示的是判别器判断生成图像为原始高分图像的概率。为了更好的梯度下降效果，使用 $ -\log D_{\theta_{D}}\left(G_{\theta_{G}}\left(I^{L R}\right)\right) $ 代替 $\log \left[ {1 - {D_{{\theta D}}}\left( {{G {{\theta G}}}\left( {{I^{LR}}} \right)} \right)} \right]$。 l {G e n}^{S R}=\sum_{n=1}^{N}-\log D_{\theta_{D}}\left(G_{\theta_{G}}\left(I^{L R}\right)\right)

作者提出了一种新的评价标准：平均意见分数(Mean opinion score)。

具体来说，要求 26 位评分者为超分图像 SR 分配从 1（质量差）到 5（质量好）的积分。每个评分者对数据集每张图片的12个处理结果进行评判，包括：最近邻(NN)、bicubic、SRCNN、 SelfExSR 、DRCN 、 ESPCN、 SRResNet-MSE、SRResNet-VGG22∗ （∗ 表示不在 BSD100 数据集评分）、SRGAN-MSE∗、SRGAN-VGG22∗、 SRGAN-VGG54 和原始 HR 图像。评分者同时在来自 BSD300 训练集的 20 张图像的 NN（得分 1）和 HR（得分5）上进行了校准。

经过实验，改评价标准具有良好的可靠性，相同图像的评级之间没有显着差异。 评分者非常一致地将 NN 插值测试图像评为 1，将原始 HR 图像评为 5（参见下图）。

表格的前两列表示基于 SRResNet 的消融实验，分别用普通的 MSE 损失和特征损失。可以看出，即使使用了对抗网络， MSE 损失相比感知损失也提供了更高的 PSNR 结果，然而在实际结果给人的感知上，图片却更加平滑且难以让人信服，但 MOS 的结果却真实反映出了这一结果。

同时，经过比较，使用感知损失相比MSE在 Set5 上的差别并不大，但在 Set14 上，SRGAN-VGG54 的 MOS 分数明显优于其它方法。而且对比$\phi_{2,2}$，使用更高级别特征图的$\phi_{5,4}$会产生更优秀的纹理细节。