基于生成对抗网络的图像风格转换算法

　　摘要：针对图像样式转换产生的图像质量不高的问题，提出一种基于生成对抗网络的高质量图像样式转换方法。借鉴循环GAN网络结构上的发电网络相结合的方法采用跳层结构和UNet网络中的残差网络，增强网络的多尺度不变性;其次，在判别网络方面，提出一种多尺度扩展卷积判别器，以改善图像样式的空间几何变换。实验证明，与CycleGAN算法相比，该算法在图像样式转换中的效果有很大提升，图像样式转换的质量也得到了提高。

　　关键词：图像风格转换;GAN;CydeGAN;UNet残差网络

　　李权学;牛梦晨;陈睿麟;陈伊婷;杜帅;徐梓欣成都信息工程大学学报2021-12-13

　　0引言

　　随着图像技术的发展，改变图像样式已成为图像处理领域的一个分支。图像迁移技术是将一幅图像的内容与一幅或多幅图像的内容进行融合，得到一幅新图像的技术。在神经网络出现前，为使一幅图像具有另一幅图像的特征，通过建立数学模型进行分析，不断调整偏移模型，然后将图像输人到模型输出结果中，完成图像风格的偏移。直到2015年，Gayts等提出利用深度学习提取图像纹理，通过梯度下降算法，不断优化模型参数，对迁移后的图像进行建模，最终生成另一幅符合预期的图像。其原理是在用深度神经网络(CNN)训练图像的过程中，靠近输人层的特征映射包含更多的图像纹理信息，而靠近输出层的特征映射包含更多的内容信息。这种CNN训练图像的性质已经成为最早的图像风格转换技术。在基于深度学习的图像风格转换处理技术中，目前应用最广泛的是基于生成对抗网络的图像风格转换处理技术。生成性对抗网络GAN(Generative)，是从数学中的博弈论中衍生的一种对抗性学习方法。一般的理论是通过对数据的不断训练和迭代，网络可以学习到图像的特征。根据这一特性，可以生成接近原始数据的新数据。该方法具有很强的性能，目前已广泛应用于各个领域。文献[1]提出一种基于生成对抗网络的固定物体步态识别方法;文献[2]提出一种基于条件生成对抗网络的焊接图像修复方法;文献[3]使用生成对抗网络对自动视觉检测进行建模和分析;文献[4]研究具有图像放大的超分辨率生成对抗网络的降噪性能;文献[5]提出一种基于一维卷积神经网络和条件生成对抗网络的模型。该模型可以利用苗木的早期电信号快速有效地识别苗木的耐盐期。生成性对抗网络在图像上也有很好的效果。文献[6]提出一种使用生成对抗网络生成人类胚胎细胞合成图像的方法。文献[7]使用生成对抗网络对高光谱遥感图像进行分类，并提出一种多鉴别器生成对抗网络来研究鉴别器数目对分类结果的影响。

　　目前，应用最成熟的图像风格转换技术是商用产品Prisma，原理是通过深度神经网络学习某幅图像的风格，然后将这种风格应用到其他图像中。深度神经网络中应用最广泛的技术是循环GAN(cydegan)。循环GAN相当于两个传统GAN。每个GAN发生器通过最小化损耗学习相应的变换函数。测量生成的数据和目标数据的差异，以计算发电机损耗，差值越大，生成器受到的惩罚将越高。虽然图像样式转换技术在很多情况下都采用循环生成对抗网络，但在生成的图像中容易忽略一些细节，且存在噪声等问题[4]。参照循环生成对抗网络的结构，提出一种高质量的图像样式转换网络。首先，在生成网络方面，将跳层结构与U网络中的残差网络结合，可以增加网络的多尺度不变性;其次，在判别网络方面，多尺度扩展卷积判别器可以提高图像样式转换的空间几何变换效率，并能生成高分辨率的图像。将目标域数据和源域数据的数据特征经过两次处理后视为一个双代对抗网络。

　　1相关理论

　　1.1生成对抗网络

　　生成对抗网络由生成网络和判别网络两个子网络组成。采用数学傳弈的思想。生成网络用于生成處实的图像，而判别网络则试图将生成的图像与真实勝图像区分开。各网络不断对抗和优化，最终达到预期效果。

　　虫成对抗柯络雜结构如图1所示。它由曳成网络G和判别网络￡>组成。将随机变營^输人生成网络G，然后判别网络fl判别输人目标，并确定其基生成图像3：是?图像，生成网络的结果是GU)生成网絡G使G⑴与真实围像保持接近，直到判别网絡不能区分生成的内睿与_实内睿为止。此时，生成的网难和判別网络之苘形成纳什均衡。

　　在生成对抗网络的训练过程中，生成网络和判别网络不断地进行迭代博弈，.最終对网络进行优化。从图2可以看出，：代表输人数据^生成网络C金成的结果为CU)，然后判别网络￡?识别G⑴和真实图镡J，真实图像的概率表示为Z)，当训练达到纳什均衡时，D(Z)=1/2。

　　在网络优化过程中，首先是对判别网络进行优化，目的是吏好地区分生成的图像和真实图像，即使判别网络更加敏感，即使5U)最大化;其次，对于生成的图像，需要最小化判别网络处理后的iKCU))。因此，第一步的目标定义为maxr(G，D)=Ex_P^Jx)[%(DC*))]+E^IZ)[k(l-D(G{z)))](1)在优化生成网络的过程中生成的图像可以荩可能接近真实图像，因此5(e(2))必须最大化，因此第二步的目标晕.immF(G，D)=Ez^t\s(l-D(D(z)))](2)難成对抗网络的总体目梅是：mnipmsIObj(D，G)=Ex^pm4x)[lg(I)(2))]+A-P你[%(1-￡K只4))]I(3)

　　其中是真輿数据的概率分布，h：基生成数据的概率分布6GAN的训练过程如图2所示。它实际上是一个生成网络和判别网络相互对抗以实现最优解的过程。在这个过程中，需粟对两个网络进行优化，直到达到纳什均衡。

　　1.2循环生成对抗网络

　　衝坏生咸蹲抗网银(GycltJ-Geraaatiw?antiparial：Netw?k，Gycte-GAN)是基于思想，在輝域和目标域之间没有对应关系齒情况下进行学每，然后变换图像样式。循环GAN可以先从源域转换到目标域，再从目标域转换到源域，利用这种方法实现图像配对》。与GAN模型不同的是t生成网络和判别网络在对抗中相互博弈，优化模謹，使生成的图像更接近，标图像。猶环生：成对抗柯络_结构如图3所示。

　　在图像样式转换中，利用循环一致性解决菌像转换问题。在模型的判断网络部分，输人原始图像和生成的興像，判断网络对两幅厲像进行判断分同时，生成的图像也会随着目标图像的不断逼近，而不断进行优化迭代。基于CyrleGAN的图像样式转换可以将一幅图像转换为另一幅图像，但生成的图像质量不翕。■属此，提出一神基于頓环生，成对ft网络生成高属^像的_画像。图像样式转换方法s

　　2高质量图像样式转换算法2，1建立网络

　　循环GAN结构仅利用残差网络迸行单尺度学习，提高训练性能，限制网络的学习功能。在U-Net网络中，，采用跳层结构和残差网络相结合的方法。增加网络的多尺度不变性4U-Net网络模型采用完全卷积网络结构，增加一个跳跃层结构，它可以将解码前的特征映射和解码后的特征映射按信道进行组合，也可以与传统编码相结合，有不同的结构。传统的编码结构是先下采样，冉上采#到原始分辨率DU-Net以不同酌分辨率保存僙息^与传统的编解码结构相比，U-Net融合了网络的高羅和低层结构信息，模型的分割精虔大大.高。U-Pfet分割模型中没有使用全连接层，弁且网络模型的输入与输出都是虜像，通常在卷积神12网络的浅层的特征图中包含图像很多的位置信息、纹理信息等，在网络深层的卷积特征囷包含的是.分割的抽象特征有利于像素分类。具有对称结构的U-Net分割模感很好的继承全卷积神经网络模型的优势，网络模型的输人图像大小没有局酿性，并麗具有M义分割獏型的端对瑞特点19]。因此IT-Net可以生成更食质量的图像，改进效果_嘗明显图4晕傳统：的编码结构，图5犛U-Efct结构。

　　目前.，神婪网络的层次越来越深，模型越来趙复杂，训练和优化的难度越来越大。一般来说，深度模型越深，训练效巣越好。但是，也会带来很多问题，如训练难度增加、模型梯度爆炸、梯度消失尋^在这些问题下，向网络中掭加剩余块可以防止这些问题的发產.。剩佘块是具有跳转结构的网络，如图6所示。

　　从图6可K看隹是残_块的第一层的输入值。在第一层线性变化和激活函数rdu后，输出F(*)，然后在线性变化而不是激活函数后，)将该层的输入值*枏加，然后激活并输出s添加*的路径称为快捷连接。残差网络是T-种跳转结构，苟以将前“个网络的信息跳到下^个网络，然启传递给下一个网络。确实，后面的网络可?学习前面的信息，这种结构可以保护細綠整性。在U-Net网络和残差网络的基础上，提出一种综合两者优点的生.成结构网络。与GAN标准的编解码结构相比，这种生成网络能够保留更多的信息，生成的图惨分鱗率更局。在U-Net网络中，加人残差块，使网络的信息容量更大，荸习能力更强，网络可以在较低和较高的范围内学习。改进的网络结构如图7所示。

　　2.2判别网络构造

　　扩展卷积是it卷积核的数目保持不变，感受野的大小随看扩展速率的增大而增大。扩张卷积图如图8所示。

　　展开卷积运箕仍然是很好的理解。图8(0是：基本卷积核，而扩展卷积就是在这个基本卷积核上加一个区间5图8(b)是图S(a)3x3膨胀率为2的卷积，但间嗝为1，相当于7对应的图像块乘7。可以理解，内核大小B替变成7x7，但只;有9个点有参数，其佘位黧参数为〇，通过卷积计算输入特怔?对应位：置的像素3跳过其条位置f图8(c)和團：s(：b》相似，只是：tr张率为4，相当于变成15x15卷积核。当卷积核变大时，感受也自然会变大;RF^RF^+ik-^xs(4)其中，是上层的感.受野^是卷积核的大小，s是歩長S具有大感受野.的判别网络具有较高的分辨率，能够准确地区分输人数琚是生成数据坯是冥实数塘。为提高分辨率，一种方法是使用较深的网络，另一种方法鲁.倭角较太的卷积核，但这两种方法容易过拟合，占用较多的内存。为解决遂一狗题，采用不同的K度训练多个鉴别器来判断图像?真实性a多尺度JI理图如图9所示。

　　提出的判别网络在多尺度：上实现了扩张卷积，即在不同尺庋上便用不同的扩张系数来获取更多的信息9这种网络可以预测更大范围的数据，生成高分辨率的固像，具有更好的效果。改进的鉴别器网络错构如图10所示。轉文提出的：纖性_集生成实验中，选取1800张图片作为训练集，200张图片作为测试集，图片大小为1024x768，设置了100个历元，弁对图像进行训练^

　　3结果3.1实验结果

　　图11(?)是原始图像，图11(b)羞性别转换后的图像。从围屮可以看出，使用本文设计的生成对抗网络后生成的图像具有明显的性别转换。

　　3.2实验比较

　　为对提出的模灌方法进行评价，采用初始得分(?Jiephet初始距蓠(;FID)和AMT知觉研究XA獅-ztai-MeAiiniciil-m知觉研究)测试进彳才歲量评价。初始分数暴一f评价指标，它与生成图片的质量和多样性吏相关，但分数较_的图片实扉上是锐利多样的图片，而不是生成图片与真实图片的关系。分数越高，生成画像的细节越多，质量越好。FID值是生成数据和实际：数掘德更接'近分布。AMTperpeptiQij：鄉eawh是在Amaz加费务平台上发布《辨别_片真实性;’任务，对输出图片的真实性进行评估。任务参与者将查看配对的真实图片，然后单击以选择认为是真实图片的图片^最后，对大家进行总结。实验结果表明，这基评价图像焉实性的金科玉律4数据评价结果见表1。

　　3.3训练过程

　　图12是本文提出的生成对抗网络在训练过程中的发虛器和判别损失变化曲线。生成器和鉴别器.的目的是相反的，即两个生成器网络和鉴别器网络最相对的，一个互相交互。可见鉴别器的损耗曲线在下降，发电机的损耗曲线在上升，两人一直_博弈。

　　4结束语

　　参照循环生成对抗网络的结构，设计一个貢质曇的图像样式转换网络。棊于U网的跳层结构和残差分块原理，发电网络利用跳层和残差网络增加多R廣差。判别网络采用多尺度展开卷税，提高空间几何变换和高分辨率图像ft成效果9实验绪杲裹烟，该算法在图像风格转换方两有较理想的效果，并能保证图像风格转换的质量。