基于扩散模型的 360 度全景图像生成任务的技术报告，提出了一种圆形混合策略，以实现几何连续性，同时提出了文本到 360 度全景图像和单图像到 360 度全景图像两个任务的模型

Nov, 2023

提出了一种基于变换器的 360 图像扩充框架 Dream360，可以从用户选择的视口生成多样、高保真、高分辨率的全景图，考虑了 360 图像的球面特性，并通过两个关键学习阶段（基于 Spherical-VQGAN 的编码本全景扩充和新颖的频率感知细化）实现了更大的扩充灵活性和保真度。

Jan, 2024

我们提供了一个文本转 3D 360 度场景生成流水线，能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像，这作为一个初步的 “平面”（2D）场景表示。随后，通过采用粒子技术将它提升到 3D 高斯函数，以实现实时浏览。为了产生一致的 3D 几何结构，我们的流水线通过将 2D 单目深度对齐成全局优化点云，构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题，我们对合成和输入相机视图应用语义和几何约束作为规范，这些约束指导高斯函数的优化，帮助重建不可见的区域。总之，我们的方法提供了一个全局一致的 360 度视角的 3D 场景，相较于现有技术提供了更加增强的沉浸式体验。项目网址：this http URL

Apr, 2024

NeO 360 是一种用于稀疏视图合成的新方法，能从少至一张图像中重建 360 度户外场景，并在探测期间无需优化大量视角。

Aug, 2023

本文提出了一种从 360 度立体图像中估计场景高清空间变化光照、反射和几何的方法，该方法利用全景图像获得场景的详细几何信息，结合物理约束共同估计场景属性。通过重建场景的近场光环境、运用深度学习模型推断反射率和表面法线，加入光照与几何之间的物理约束以改进场景的反射率，实验结果表明该方法在增强现实应用中具有 State of the art 的性能有优势。

Apr, 2021

该研究探索了半监督学习和三维室内布局重建的交叉领域，提出了使用标记和未标记数据学习房间角和边界表示的方法，利用 360 度全景场景实现了改进的室内布局估计。实验结果表明，该方法同样精准，仅需使用 12％的标记数据。这项工作是实现使用有限标记数据进行三维感知的强大半监督布局估计的重要第一步。

Mar, 2021

通过智能旋转球形图像，开发一种基于强化学习算法的深度循环神经网络模型，以更少的计算量生成更具视觉吸引力的 360 度全景图。

Mar, 2018

通过使用潜在扩散模型（LDM）的先验来解决 360 度 3D 场景的稀疏视图重建问题。我们展示了通过预训练的 2D 扩散模型经过精细调整可以大幅提高场景重建的方法 SparseSplat360（Sp2360），该方法通过级联修补和伪影移除模型填补缺失的细节并清除新的视图。我们提出了一种迭代更新策略，将生成的伪新视图与拟合到初始稀疏输入的 3D 高斯模型进行融合，从而获得与观察输入一致且具有上下文的细节的多视图场景表示。在具有挑战性的 Mip-NeRF360 数据集上的评估结果表明，我们提出的 2D 到 3D 蒸馏算法显著改善了用于稀疏视图的正则化版本的 3DGS 的性能，并且在 360 度场景重建方面优于现有的稀疏视图重建方法。定性上，我们的方法可以从仅有 9 个输入视图生成具有前景和背景细节的完整 360 度场景。

May, 2024

本文提出了一种新方法，通过使用单张卫星图像和相机轨迹合成具有时间和几何一致性的全景视频。该方法使用了 3D 点云表示场景，并通过相应生成的稠密三维到二维相对应关系，实现了几何和时间上的一致性。同时使用级联网络和两个 Hourglass 模块生成粗特征和细特征以及最后生成逼真的视频。该方法在实验中得到了超越其他现有的合成方法的优异结果，并且是首个成功将跨视角图像合成为视频的方法。

Dec, 2020

本文介绍了一个大规模 360 度视频数据集，包含各种环境和上下文，以及相机的姿态和深度图，证明了该数据集在单一图像深度估计和视图合成两个主要任务中的相关性。

Jun, 2024