本文提出了一种新颖的端到端 3D 感知图像生成和编辑模型，通过纯噪声、文本和参考图像等多种条件输入，在 3D 生成对抗网络（GANs）的潜在空间中深入研究并提出解缠特性较好的生成策略，同时采用统一框架进行灵活的图像生成和编辑任务，实现多模态条件下的多样图像生成、属性编辑和风格迁移。广泛实验证明，该方法在图像生成和编辑方面在质量和数量上均优于替代方法。

Mar, 2024

本文提出了基于几何约束的跨视图图像合成方法，该方法包含使用单应性矩阵将图像映射到另一个视图，利用生成式对抗网络对转换后的图像进行缺失区域修复，实现更为逼真的图像合成效果。

Aug, 2018

研究了 3D 形状和 2D 观察之间的一致性，并提出了一种可微分的公式，能够计算给定任意视角观察的 3D 形状的梯度；通过重新定义可微的 Ray 一致性（DRC）项，可以将视图一致性重新推导出来。这种公式可以结合不同类型的多视图观察，如前景掩模、深度、彩色图像、语义等，作为学习单视角 3D 预测的监督来使用，我们在控制性的实验中证明了我们技术的实用性。同时，我们还表明，这种方法可以改进从 PASCAL VOC 数据集中对物体进行单视图重建的现有技术。

Apr, 2017

提出了一种新的基于图像的神经隐式场方法，该方法利用基于 GAN 生成的多视图图像的 2D 监督，并通过不确定性模块来提高重构性能，从而实现了泛化物体的单视角 3D 重构。

Jul, 2022

提出了一种基于多视角一致性生成对抗网络（MVCGAN）的高质量 3D 感知图像综合方法，采用几何约束技术，利用深度和相机变换矩阵等信息实现多视角联合优化，同时采用两阶段训练策略和混合训练技术提高模型的生成图像质量，实验结果表明，本方法达到了最先进的性能水平。

Apr, 2022

本文提出了一种基于四维光场表示的双阶段变压器模型，旨在弥合几何重建和经典光场渲染之间的差距，通过强制约束几何约束，使得场景几何隐含在稀疏的视角学习中，并在多个前向和 360 度数据集上超越了最先进技术，尤其是在视角变化剧烈的情况下。

Dec, 2021

使用基于图像条件的扩散模型从单视角生成多视角图像是最新的技术进展，虽然存在合成图像不一致和提取几何信息过度平滑等问题，但本研究通过优化辐射场、修正传统辐射场优化过程中的偏差以及开发一个专门的两步骤过程，实现了从多视角图像中恢复准确的几何信息和纹理。

Dec, 2023

一篇介绍了一个优化框架以实现多视角一致性的研究论文，通过四个阶段的处理，生成多个 2D 纹理和相互一致的视图，并进行非刚性对齐与关联，实验结果表明该方法在质量和数量上均显著优于基准方法。

Mar, 2024

使用来自视频生成模型的图像，通过引入一种新的框架以及 3D 感知降噪采样策略，可以更快速地生成密集视图，提高图像的质量和一致性。

Mar, 2024

本文提出一种新的方法，利用预训练的文字转图像模型作为先验知识，从真实世界数据中的单个去噪过程中生成多视角图像，并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层，设计出自回归生成方法，在任意视点上呈现更具一致性的 3D 图像。与现有方法相比，我们的方法生成的结果是一致的，并且具有优秀的视觉质量（FID 降低 30%，KID 降低 37%）。

Mar, 2024