Jul, 2023

IPO-LDM: 基于深度的 360 度室内 RGB 全景画外技术的潜在扩散模型

PDF
TL;DR360 度室内 RGB 全景图像的生成研究中，使用有限的视野图像存在困难，而现有的基于 GAN 的方法面临着提高输出质量和在不同掩码类型下泛化性能较差的障碍。本文提出了一种使用潜在扩散模型（LDM）的 360 度室内 RGB 全景图像外扩模型 IPO-LDM。我们引入了一种新颖的双模潜在扩散结构，在训练过程中利用 RGB 和深度全景数据，但在推理过程中却能出色地对缺少深度信息的 RGB 图像进行外扩。此外，我们还提出了一种新颖的技术，在每个扩散去噪步骤中引入渐进式相机旋转，从而大幅改善全景图的一致性。实验结果表明，我们的 IPO-LDM 不仅在 RGB 全景图像外扩方面显著优于现有方法，还能为不同类型的掩码生成多个多样且结构良好的结果。
发现论文，激发创造
  • LDM3D-VR：三维虚拟现实的潜在扩散模型

    LDM3D-VR 是一套包括 LDM3D-pano 和 LDM3D-SR 的扩散模型，在虚拟现实开发中通过文本提示生成全景 RGBD，并将低分辨率输入变为高分辨率的 RGBD。

    Nov, 2023

  • LDM3D：3D 的潜在扩散模型

    本研究提出了一种潜在扩散模型用于 3D (LDM3D)，可以从给定的文本提示生成图像和深度图像数据，使用生成的 RGB 和深度图像可以创建令人沉浸的和交互性 360 度视图体验，有潜力革新娱乐、游戏、建筑和设计等行业。

    May, 2023

  • 无监督的三维离群检测与潜在扩散模型

    使用潜在扩散模型 (LDM) 实现了对高分辨率 3D 医学数据的强健异常检测，与使用潜在转换模型 (LTMs) 的方法相比，LDM 方法表现更好、对潜在表示更不敏感、内存缩放更合理以及生成更好的空间异常图。

    Jul, 2023

  • 一种简单的潜隐扩散方法用于全景分割和蒙版修复

    该论文介绍了使用稳定的扩散和潜在扩散方法进行全景分割的架构，它通过训练浅层自动编码器和扩散模型实现了对分割掩模的操控，呈现了全景分割和遮罩修复的有 promising 结果。

    Jan, 2024

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 通过文本与图像扩散模型个性化定制 360 度全景图

    基于扩散模型的个性化文本到图像（T2I）合成已经引起了最近研究的广泛关注，然而现有的方法主要集中在定制主题或风格上，忽视了全局几何的探索。本研究提出了一种集中于 360 度全景定制的方法，使用 T2I 扩散模型，它在本质上具有全局几何特性，通过精心制作的图像 - 文本配对数据集进行微调，最终采用 LoRA 进行训练。实验证明了我们定制的模型与所提出的 StitchDiffusion 相结合在生成高质量的 360 度全景图像方面的有效性。此外，我们的定制模型在产生未在微调数据集中见过的场景方面表现出卓越的泛化能力。

    Oct, 2023

  • 高效 3DCG 背景创建的多样真实 360 度图像外延技术

    本文提出了基于 Transformers 和 CompletionNets 的自动场景建模方法，使用 WS-perceptual loss 和 circular inference 提升 360 度图像的质量，并在虚拟物体插入场景上取得了具有感知自然性的结果。

    Mar, 2022

  • 上下文感知分层深度修复的三维摄影

    提出一种将单个 RGB-D 输入图像转换成 3D 照片的方法，其中包含了多层的新视角综合结构，可以补全原始视角中被遮挡区域的缺失的颜色和深度信息，并经验证在各种现实场景中比现有技术实现更少的图像伪影。

    Apr, 2020

  • 带有门控卷积和上下文重建损失的全景图像修复

    基于深度学习的方法在全景图像修复任务中显示出令人鼓舞的结果，但现有方法难以区分有效像素与无效像素并找到适当的参考区域，从而导致修复结果中出现伪影。针对这些挑战，我们提出了一种全景图像修复框架，包括一个面部生成器、一个立方体生成器、一个附属分支和两个判别器。我们使用 Cubemap 投影格式作为网络输入。生成器通过门控卷积区分有效像素和无效像素，而附属分支采用上下文重建损失来指导生成器找到最适合修复缺失区域的参考补丁。在 PSNR 和 SSIM 方面，将所提出的方法与最先进的方法 (SOTA) 在 SUN360 Street View 数据集上进行比较。实验结果和消融分析表明，所提出的方法在定量和定性方面均优于 SOTA。

    Feb, 2024