简介
简介：利用Unet架构来构建生成器模型输出纹理特征图像，并设计了VGG19模型架构来构建纹理损失。利用多个低级VGG19的特征层计算均值和方差，并得到生成的纹理与真实纹理的差异性。并结合L1损失、对抗损失等共同训练。
论文题目：Unsupersived Image Texture Transfer Based On Generative Adversarial Network（基于生成对抗网络的无监督图像纹理传输）
会议：International Conference on Consumer Electronics and Computer Engineering (ICCECE)
摘要：生成对抗网络在图像纹理传输中的应用是计算机视觉领域的一个研究热点。 本文提出了一种无监督图像纹理传输方法，在生成对抗网络的基础上，利用VGG19模型构建纹理损失网络。 为了量化图像纹理信息，我们在该网络中使用了多个低级特征层的均值和方差。 纹理损失是指输入图像与目标图像之间纹理特征的差异，作用于生成器更新参数。 此外，在生成器中使用U-net全卷积网络是保持输入图像多尺度特征的有效方法。 在损失函数中，重构损失由生成图像和目标图像在各自的灰度空间中计算。 我们使用各种未配对数据集进行无监督训练实验。 结果表明，与其他纹理传输网络相比，该方法能更好地约束生成器的传输性能，达到任意纹理传输的目的。
模型结构
生成器架构
基于U-net的全卷积网络结构将高分辨率特征图与上采样后的低分辨率特征图相结合，可以有效保留图像的多尺度信息，减轻解码器的棋盘效应，更适合小样本训练。
生成器从自编码器延伸而来，将图像在编码时的卷积结果保存并与对应解码层的卷积结果合并，传递给反向网络。 编码器包含8个2步卷积层，其输入为256*256*3的图像，解码器包含8个2步幅的转置卷积层作为上采样块。 编码器和解码器都使用“相同”的卷积模式。 最后，输出图像的大小与原始图像相同，有效地保留了各特征层的结构信息。 
鉴别器架构
鉴别器是一个全卷积网络。 前三个卷积层步长为2，第四个卷积层步长为1，卷积模式相同，最后一个卷积层通道数为1，卷积模式为“有效”。 与早期输出简单标量的GAN网络不同，我们方法中鉴别器的输出是一个大小为N x N的特征映射，矩阵中的每个元素表示它对应于原始图像中传感器场的真实样本的概率。 这种patchGAN结构可以更好地反映图像的局部信息，减少图像中背景信息对鉴别器结果的影响。
纹理网络
VGG19的网络模型，用‘ conv1_1 ’， ‘ conv2_1 ’， ‘ block3_conv1 ’， ‘ block4_conv1 ’， ‘ block5_conv1 ’计算特征层的均值和方差，用于表征图像纹理信息。纹理损失网络的输入是生成图像和目标图像。
损失函数
对抗损失：
纹理损失：
在纹理损失网络中，使用特定特征层数据的均值和方差来表征特征分布并量化纹理特征。通过计算两组图像对应特征层的特征差的绝对值，并对不同的特征层赋予不同的权重。
