ICCVMar, 2020

Deep CG2Real: 通过图像分解进行合成到真实图像的转换

PDF
TL;DR提出一种利用半监督方法，在图像的着色和反照率层上操作，训练半监督网络用于图片合成，该方法可以有效提高 OpenGL 渲染等低质量合成图像的视觉逼真度。该方法通过两个阶段的管道来实现，即首先以物理学渲染为目标以有监督的方式预测准确的着色，然后再采用改进的 CycleGAN 网络进一步提高纹理和着色的逼真度。 在 SUNCG 室内场景数据集上进行的广泛评估表明，与其他最先进的方法相比，我们的方法可以产生更逼真的图像。此外，我们所生成的 “真实” 图像训练出的网络比领域适应方法预测出更精确的深度和法线，这表明提高图像的视觉逼真度可以比强加任务特定的损失效果更良好。
visual realismsynthetic imagesshadingalbedo layerscyclegan
发现论文，激发创造
  • T2Net: 用于解决单图像深度估计任务的从合成到逼真的翻译

    本文提出一种基于图像翻译网络和深度预测网络的框架，使用合成的图像 - 深度对和非配对的真实图像进行训练，实现单图深度估计。该框架可以端到端训练，得到好的结果，甚至超过使用真实配对数据的早期深度学习方法。

    Aug, 2018

  • SyntStereo2Real：边缘感知生成对抗网络用于维持立体约束的遥感图像转换

    远程感知领域中，缺乏立体匹配以及准确地面真实数据制约了深度神经网络的训练；合成图像作为替代方案缓解了此问题，但面临域泛化问题；结合图像到图像翻译和立体匹配的能力提供了有效解决方案；通过将图像到图像翻译网络和立体匹配网络联合优化，我们提出一种基于边缘感知的生成对抗网络，同时有效解决了两个任务；通过 Sobel 算子获取输入图像的边缘图像，并将其作为编码器的额外输入，以在翻译过程中强制保持几何一致性；此外，通过计算翻译图像的变形损失来维持立体一致性；我们证明了我们的模型比现有模型产生了更好的定性和定量结果，并且其适用性扩展到包括自动驾驶在内的各种领域。

    Apr, 2024

  • SharinGAN：结合合成和真实数据进行无监督几何估计

    本文提出了一种将合成图像和真实图像结合进行网络训练的新方法。我们建议将两种图像映射到一个共享域中，并连接到主网络进行端到端训练。实验结果表明，该方法在两个重要的领域中均取得了显著的改进：人脸表面法线估计和户外场景单眼深度估计，尤其是在无人监督设置下。

    Jun, 2020

  • 面向变换的图像生成网络用于新型 3D 视角合成

    提出了一种基于变换的图像生成网络，能够从单张图片中合成新的 3D 视图，并采用用组合的对抗和感知损失的训练方法，成功地减少了失真和图像中的缺陷，并保留了图像的视觉细节等特征。

    Mar, 2017

  • 对抗网络调整的场景生成

    该研究的目的是通过将生成模型的虚拟数据迭代地逼近真实世界的数据分布，提高计算机视觉系统训练的泛化性能，该方法通过对生成图形模型的参数先验分布进行后验密度估计，结合生成对抗训练，提高了交通场景语义标注任务的性能。

    Jan, 2017

  • 保持虚幻：通过仅使用几何先验填补 2.5D 识别的逼真差距

    本研究提出了一种基于 CAD 模型、使用生成式对抗网络的增强方法进行无监督训练，从而更好地识别深度图像并恢复可靠的深度信息。该方法不但简化了识别算法的训练，通过各种实验，还证明了其性能优于传统方法。

    Apr, 2018

  • 域整理：简化图像缓解合成 - 真实域间的转移并提高深度估计

    通过注意力模块，学习识别和去除真实图像中的困难部分，以提高合成数据训练的模型对真实图像的景深估计。

    Feb, 2020

  • 提高照片真实性

    本文提出了一种增强合成图像逼真度的方法，通过卷积网络利用常规渲染流水线产生的中间表示来增强图像。

    May, 2021

  • 深度混合真实和合成训练用于内在分解

    该论文提出使用深度卷积神经网络解决困难的内在图像分解问题，通过对真实图像和合成图像模型的混合训练，以及引入 Bilateral Solver 层，进一步改进结果，实现了对各种数据集包括真实世界场景的不同光照图像的理想产出。

    Jul, 2018

  • 文本到图像生成的语义分离

    该文提出了一种新的文本图像生成模型，使用基于语义的标准化处理和图像嵌入策略来实现高水平的语义一致性和低水平的语义多样性，并在 CUB 和 MS-COCO 数据集上展示了其优异性能。

    Apr, 2019