Jul, 2023

一种统一 GAN 框架实现的一致多模式生成

PDF
TL;DR研究如何使用单个生成模型生成多模式图像输出，并使用 StyleGAN3 架构，通过获取每种模式的质量鉴别器和跨模式一致性鉴别器来解决图像一致性问题，并在 Stanford2D3D 数据集上展示了实际和一致的 RGB、深度和法线图像的生成。
multimodal image outputsgenerative modelstylegan3 architectureper-modality fidelity discriminatorsstanford2d3d dataset
发现论文，激发创造
  • 多模态条件下的三维感知图像生成和编辑

    本文提出了一种新颖的端到端 3D 感知图像生成和编辑模型，通过纯噪声、文本和参考图像等多种条件输入，在 3D 生成对抗网络（GANs）的潜在空间中深入研究并提出解缠特性较好的生成策略，同时采用统一框架进行灵活的图像生成和编辑任务，实现多模态条件下的多样图像生成、属性编辑和风格迁移。广泛实验证明，该方法在图像生成和编辑方面在质量和数量上均优于替代方法。

    Mar, 2024

  • 通过 Trunk-Branch 生成对抗网络合成耦合的三维人脸模态

    本研究提出了一种新颖的 GAN 方法，可以联合生成面部纹理、形状和法向量信息，用于进行类真实面部合成。同时，我们展示了如何以面部表情为条件生成具有不同表情的面部。

    Sep, 2019

  • 语义 RGB-D 图像合成

    提出了一种用于 RGB-D 语义图像合成的多模态数据生成器，并通过鉴别器来确保标签图和生成图像之间的语义一致性及真实图像和生成图像之间的感知相似性，实验证明该方法在 RGB-D 语义分割方案中表现出了显著优势，以及通过在训练过程中混合真实图像和生成图像可以显著提高方案的准确性。

    Aug, 2023

  • 多视角一致性生成对抗网络用于 3D 感知图像合成

    提出了一种基于多视角一致性生成对抗网络（MVCGAN）的高质量 3D 感知图像综合方法，采用几何约束技术，利用深度和相机变换矩阵等信息实现多视角联合优化，同时采用两阶段训练策略和混合训练技术提高模型的生成图像质量，实验结果表明，本方法达到了最先进的性能水平。

    Apr, 2022

  • VideoMV：基於大型視頻生成模型的一致多視角生成

    使用来自视频生成模型的图像，通过引入一种新的框架以及 3D 感知降噪采样策略，可以更快速地生成密集视图，提高图像的质量和一致性。

    Mar, 2024

  • 利用 GANs 协调最大似然函数进行多模态有条件生成

    提出一种使用替代重构损失（moment reconstruction losses）的训练方案的条件图像生成方法，通过在 Cityscapes 和 CelebA 数据集上进行实验验证，证明该方法在保留或提高生成样本的视觉保真度的同时，实现了输出样本的多样性。

    Feb, 2019

  • 揭示深度：一种多模态融合框架用于挑战场景

    本文提出了一种新颖的方法，通过学习框架，识别和整合主导的跨模态深度特征，独立计算粗略深度图，并使用置信度损失和多模态融合网络进行端到端的深度估计，从而在各种困难情景中展示了鲁棒的深度估计能力。

    Feb, 2024

  • 高效几何感知的三维生成对抗网络

    使用单视角 2D 照片集合进行高质量多视角一致的图片和 3D 形状的非监督生成一直是一个难题，本文提出了一种混合显式 - 隐式网络架构，用于提高 3D GANs 的计算效率和图像质量，实现了高分辨率实时多视角一致的图像合成，同时产生高质量的 3D 几何体。

    Dec, 2021

  • 基于扩散驱动的 GAN 反向传递用于多模态人脸图像生成

    我们提出了一种新的多模态人脸图像生成方法，通过将文本提示和视觉输入转化为逼真的人脸图像，结合了生成对抗网络和扩散模型的优势，并通过简单映射和风格调节网络将两个模型结合起来，将特征图和注意力图中的有意义的表示转化为潜空间编码。使用预训练的生成对抗网络的翻转，可以生成 2D 或 3D 感知的面部图像。我们进一步提出了一种多步骤训练策略，将文本和结构表示反映到生成的图像中。我们的方法生成逼真的 2D、多视图和风格化的人脸图像，并与输入对齐。我们使用预训练的 2D 和 3D 生成对抗网络验证了我们的方法，结果优于现有方法。

    May, 2024

  • ViewDiff：利用文本到图像模型的 3D 一致图像生成

    本文提出一种新的方法，利用预训练的文字转图像模型作为先验知识，从真实世界数据中的单个去噪过程中生成多视角图像，并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层，设计出自回归生成方法，在任意视点上呈现更具一致性的 3D 图像。与现有方法相比，我们的方法生成的结果是一致的，并且具有优秀的视觉质量（FID 降低 30%，KID 降低 37%）。

    Mar, 2024