提出了一种基于变换器的 360 图像扩充框架 Dream360，可以从用户选择的视口生成多样、高保真、高分辨率的全景图，考虑了 360 图像的球面特性，并通过两个关键学习阶段（基于 Spherical-VQGAN 的编码本全景扩充和新颖的频率感知细化）实现了更大的扩充灵活性和保真度。

Jan, 2024

360 度图像合成的研究中提出了自回归全方位感知生成网络（AOG-Net），通过在不完整的 360 度图像中使用不完全视野和文本指导逐步完成生成，以获取细粒度且与文本一致的模式，实现了更大的编辑灵活性。实验表明，该方法在室内和室外环境下的两个常用数据集上取得了最先进的性能。

Sep, 2023

该论文提出了一种结合 transformer 和卷积神经网络的图像补全方法，可实现丰富的多样性和高保真度，普适性强。

Mar, 2021

基于深度学习的方法在全景图像修复任务中显示出令人鼓舞的结果，但现有方法难以区分有效像素与无效像素并找到适当的参考区域，从而导致修复结果中出现伪影。针对这些挑战，我们提出了一种全景图像修复框架，包括一个面部生成器、一个立方体生成器、一个附属分支和两个判别器。我们使用 Cubemap 投影格式作为网络输入。生成器通过门控卷积区分有效像素和无效像素，而附属分支采用上下文重建损失来指导生成器找到最适合修复缺失区域的参考补丁。在 PSNR 和 SSIM 方面，将所提出的方法与最先进的方法 (SOTA) 在 SUN360 Street View 数据集上进行比较。实验结果和消融分析表明，所提出的方法在定量和定性方面均优于 SOTA。

Feb, 2024

通过深度学习的方式，利用基于 DCGAN 架构的图像分割技术及本地鉴别器提升图像边界的质量，从而实现图片的画外部分（extrapolation），其结果表明利用深度学习方法进行画外部分的研究既可行又具有前景。

Aug, 2018

本文提出了一种无监督的方法，用于一次性 3D 面部纹理完成，这不需要大规模的纹理数据集，而是利用 2D 生成器中存储的知识。实验结果表明，完成的纹理和正视图像具有高质量，类似于原始身份，可以用于训练 3DMM 拟合的纹理 GAN 模型和提高姿态不变的面部识别。

Dec, 2020

本文介绍了一种基于神经辐射场（NeRF）的方法，用于从单个 360 度 RGB-D 图像合成新景象，并利用 2D 图像生成模型，最大权重独立集问题和模拟退火等算法，以优化生成的图像。

Mar, 2022

该论文主要研究了图像外部绘制的技术，提出了一种名为 PQDiff 的新方法，它可以生成超出原始边界的图像内容，具有任意扩展倍数和一步完成的能力，而且在性能和时间效率方面优于其他现有方法。

Jan, 2024

360 度室内 RGB 全景图像的生成研究中，使用有限的视野图像存在困难，而现有的基于 GAN 的方法面临着提高输出质量和在不同掩码类型下泛化性能较差的障碍。本文提出了一种使用潜在扩散模型（LDM）的 360 度室内 RGB 全景图像外扩模型 IPO-LDM。我们引入了一种新颖的双模潜在扩散结构，在训练过程中利用 RGB 和深度全景数据，但在推理过程中却能出色地对缺少深度信息的 RGB 图像进行外扩。此外，我们还提出了一种新颖的技术，在每个扩散去噪步骤中引入渐进式相机旋转，从而大幅改善全景图的一致性。实验结果表明，我们的 IPO-LDM 不仅在 RGB 全景图像外扩方面显著优于现有方法，还能为不同类型的掩码生成多个多样且结构良好的结果。

Jul, 2023

本文介绍了一种新颖的图像外延框架，利用多模态大语言模型（MLLM）自动提取和组织给定图像的遮罩部分和非遮罩部分的文本描述，并利用特殊的交叉注意力模块（CTS）增强图像的特定空间区域与文本提示部分之间的交互作用，从而实现了图像外延结果的定制化。该方法在三个常用数据集上的实验结果显示，显著超越了现有方法，并展示了其多功能外延结果的定制能力。

Jun, 2024