图像到图像的翻译:方法和应用
通过在预训练的 StyleGAN2 模型上进行一系列的模型变换,我们提出了一种新的图像到图像 (I2I) 转换方法,并提出了一种反演方法,以在源领域和目标领域之间进行 I2I 翻译。定性和定量评估证明了该方法在图像质量、多样性和与输入和参考图像的语义相似性方面具有优越性能,与最先进的作品相比。
Oct, 2020
本论文提出了一种面向细粒度问题的无域图像转换方法,其使用一种全新的方法生成图像,这种方法集中在从源图像提取视觉特征并与低频信息相结合,以生成符合期望的输出图像,该方法在处理面向细粒度问题的图像转换任务时能够生成更真实的图像样本。
May, 2023
DeepI2I 为一种新的基于深度学习和层级特征的图像翻译方法,采用转移学习技术和适配器网络解决了高分辨率瓶颈和对小数据集性能较差的问题,在三个数据集上的实验结果表明可以显著提高多类别图像翻译的性能。
Nov, 2020
提出了一种创新的图像翻译方法,包括利用灰度调整方法进行像素级翻译、利用 Pix2PixHD 模型以及改进的损失函数来增强图像翻译性能,解决了稀疏训练数据的问题。
Mar, 2024
本文旨在将有监督和无监督的图像翻译方法相结合,在像素到像素图像翻译领域取得了重大突破,提出了一种选择非常少的配对训练样本的方法,并在训练过程中同时使用这些配对样本和未配对样本,从而比 Random Selection 获得了更好的性能。
Sep, 2019
本文旨在研究在图像中的机器翻译任务:将包含一种语言文本的图像转化为包含另一种语言文本的图像。我们提出了一个基于神经网络的端到端模型,并证明纯像素级监督可以得到很好的初步结果。我们进行了定量和定性评估,并讨论了一些常见的失误模式。最后,我们提出了未来工作的方向。
Oct, 2020
S2ST 是一个新颖的框架,用于在复杂的照片逼真图像中实现全局图像转换,如汽车场景的日夜或晴雨转换,通过利用由潜在扩散模型学习到的强大图像先验,S2ST 在改善保真度的同时保持了目标领域的外观,并超越了基于 GAN 的图像转换方法和基于扩散的方法,并值得注意的是,S2ST 免除了训练领域特定的转换网络的必要性。
Nov, 2023
介绍了一种基于深度卷积神经网络以及条件生成式对抗网络的通用方法,通过非监督学习来解决图像转换问题,实现了不同域之间的图像转换,并且在多样性方面表现出了很好的通用性。
Jan, 2017
提出了一种名为 DiffI2I 的简单、高效和强大的 I2I 扩散模型,通过引入紧凑的 I2I 先验提取网络(CPEN),动态 I2I 转换器(DI2Iformer)和去噪网络来解决了传统 DM 在某些 I2I 任务中的效率和生成能力方面的问题。通过在各种 I2I 任务上进行广泛实验证明,DiffI2I 在显著减少计算负担的同时达到了 SOTA 水平。
Aug, 2023
图像到图像转换是机器学习的一个子类型,具有在存在两个图片域之间需要转换的应用中具有巨大潜力,例如去除雾霾。本文介绍了 STEREOFOG 数据集,该数据集包含 $10,067$ 对模糊和清晰图片,通过自建设备进行拍摄,目的在于探索此领域中图像到图像转换的潜力。我们应用并优化了 pix2pix 图像到图像转换的机器学习框架于该数据集,最终模型达到平均复杂小波结构相似度(CW-SSIM)得分为 0.76,证明该技术对于该问题是适用的。
Dec, 2023