May, 2023

适用于实时逼真度提升的生成对抗渲染器

PDF
TL;DR提出了一种高效的基于生成着色器的方法，该方法适用于资源受限的情况下，应用于实时的机器学习技术，不需要手动调整，可以在目标设备上进行高度有效的执行，并提供具有与许多基于神经网络的方法相竞争的质量的超越实时的结果。
realism enhancement methodsgenerative shadersmachine learningresource-constrainedreal-time applications
发现论文，激发创造
  • 提高机器学习合成数据的逼真度研究

    本研究着眼于深入评估和比较对于机器学习的通用合成数据的对抗训练效果，并旨在使用未标记的真实数据条件下的合成 - 真实生成模型将合成图像转化为更真实的风格，并通过定性和定量指标进行广泛的性能评估和比较。

    Apr, 2023

  • Deep CG2Real: 通过图像分解进行合成到真实图像的转换

    提出一种利用半监督方法，在图像的着色和反照率层上操作，训练半监督网络用于图片合成，该方法可以有效提高 OpenGL 渲染等低质量合成图像的视觉逼真度。该方法通过两个阶段的管道来实现，即首先以物理学渲染为目标以有监督的方式预测准确的着色，然后再采用改进的 CycleGAN 网络进一步提高纹理和着色的逼真度。 在 SUNCG 室内场景数据集上进行的广泛评估表明，与其他最先进的方法相比，我们的方法可以产生更逼真的图像。此外，我们所生成的 “真实” 图像训练出的网络比领域适应方法预测出更精确的深度和法线，这表明提高图像的视觉逼真度可以比强加任务特定的损失效果更良好。

    Mar, 2020

  • 自然图像流形上的生成视觉操作

    本文提出了一种基于生成对抗神经网络的自然图像流形的学习方法，以及一类图像编辑操作及其在学习到的流形上的实时约束优化方法以实现逼真的图片编辑与生成。

    Sep, 2016

  • 提高照片真实性

    本文提出了一种增强合成图像逼真度的方法，通过卷积网络利用常规渲染流水线产生的中间表示来增强图像。

    May, 2021

  • 使用马尔科夫生成对抗网络预计算的实时纹理合成

    本文提出了 Markovian Generative Adversarial Networks (MGANs) 的方法，用于训练具有高效纹理合成功能的生成神经网络。通过对 Markovian patch 的特征统计进行捕捉，可以直接生成具有任意尺寸的输出，从而使合成图像的速度显著提高，并在纹理合成、样式转移和视频样式化等领域得到应用。

    Apr, 2016

  • 来自 RGB-D 扫描的对抗纹理优化

    该研究提出了一种基于条件对抗损失和面向补丁的条件鉴别器的方法，用于不准确的 RGB-D 重建图像，以生成逼真的彩色贴图。

    Mar, 2020

  • 对抗网络调整的场景生成

    该研究的目的是通过将生成模型的虚拟数据迭代地逼近真实世界的数据分布，提高计算机视觉系统训练的泛化性能，该方法通过对生成图形模型的参数先验分布进行后验密度估计，结合生成对抗训练，提高了交通场景语义标注任务的性能。

    Jan, 2017

  • 使用强化对抗学习合成图像程序

    通过使用图形引擎和敌对训练，我们设计了一个无监督的生成模型，可以通过输出与真实数据不可区分的渲染图像来提高图像生成的效果。

    Apr, 2018

  • 生成对抗网络反演渲染器用于面部重建

    本文提出了一种新型生成对抗渲染器（Generative Adversarial Renderer，简称 GAR）和用于预测 3D 面部参数的优化方法，该 GAR 利用神经渲染器而非传统的渲染规则来产生逼真图像，从而增强了训练和优化的稳定性，并在多个人脸重建数据集上取得了最新成果。

    May, 2021

  • 基于对抗蒸馏的计算机辅助设计：逼真三维生成

    利用预训练扩散模型的一种新型学习方法，直接在对抗性的方式下对多视图渲染与扩散先验之间的分布差异进行建模，从而实现了高保真度和逼真度的三维内容生成，条件为单张图像和提示。通过利用生成对抗网络（GANs）的潜在空间和表达力丰富的扩散模型先验，我们的方法促进了各种三维应用，包括单视图重建、高多样性生成和开放域中的连续三维插值。实验结果表明，与以往的工作相比，我们的流程在生成质量和多样性方面表现出更强的优势。

    Dec, 2023