Nov, 2023

Diffusion360: 基于扩散模型的无缝 360 度全景图像生成

PDF
TL;DR基于扩散模型的 360 度全景图像生成任务的技术报告，提出了一种圆形混合策略，以实现几何连续性，同时提出了文本到 360 度全景图像和单图像到 360 度全景图像两个任务的模型
360-degree panoramic image generationdiffusion modelscircular blending strategytext-to-360-panoramassingle-image-to-360-panoramas
发现论文，激发创造
  • 通过文本与图像扩散模型个性化定制 360 度全景图

    基于扩散模型的个性化文本到图像（T2I）合成已经引起了最近研究的广泛关注，然而现有的方法主要集中在定制主题或风格上，忽视了全局几何的探索。本研究提出了一种集中于 360 度全景定制的方法，使用 T2I 扩散模型，它在本质上具有全局几何特性，通过精心制作的图像 - 文本配对数据集进行微调，最终采用 LoRA 进行训练。实验证明了我们定制的模型与所提出的 StitchDiffusion 相结合在生成高质量的 360 度全景图像方面的有效性。此外，我们的定制模型在产生未在微调数据集中见过的场景方面表现出卓越的泛化能力。

    Oct, 2023

  • 驯服文本到 360° 全景图像生成的稳定扩散

    通过双分支扩散模型 PanFusion，从文本提示生成 360 度全景图像，并使用投影感知的独特交叉注意机制提供协作降噪过程中的最小畸变。

    Apr, 2024

  • 360DVD: 360 度视频扩散模型下的可控全景视频生成

    提出了一种名为 360-Degree Video Diffusion model (360DVD) 的可控全景视频生成方法，通过引入 360-Adapter 轻量级模块和辅助 360 度增强技术，将预训练的文字到视频模型转化为生成全景视频的模型，并提出了 WEB360 数据集来训练 360DVD，实验证明其在全景视频生成方面具有卓越的优势和效果。

    Jan, 2024

  • 从少量未注册的超广角图像生成 360 度全景

    使用一种称为 PanoDiff 的新型方法，通过使用一个或多个未注册的 Narrow Field-of-View (NFoV) 图像，高效地生成完整的 360° 全景图，该方法通过两个主要组件来克服以往方法中的局限性，包括两阶段的角度预测模块和一种基于潜在扩散的全景生成模型，实验表明 PanoDiff 实现了最先进的全景生成质量和高可控性，适用于内容编辑等应用。

    Aug, 2023

  • TwinDiffusion: 借助扩散模型增强全景图像生成的连贯性和效率

    通过 Crop Fusion 对质量进行提升和通过 Cross Sampling 进行效率优化，本文提出了一种针对全景图像生成中可见接缝和不连贯过渡等挑战的优化框架 TwinDiffusion，该框架通过引入无需训练的优化阶段来改善相邻图像区域的相似性，以及通过交错采样策略在裁剪过程中生成动态补丁，并通过综合评估，包括连贯性、保真度、兼容性和效率等因素，与现有方法进行比较，结果表明我们的方法在生成无缝和连贯全景图方面性能优秀，为全景图像生成的质量和效率确立了新的标准。

    Apr, 2024

  • DreamScene360: 无约束的文本到 3D 场景生成与全景高斯喷洒

    我们提供了一个文本转 3D 360 度场景生成流水线，能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像，这作为一个初步的 “平面”（2D）场景表示。随后，通过采用粒子技术将它提升到 3D 高斯函数，以实现实时浏览。为了产生一致的 3D 几何结构，我们的流水线通过将 2D 单目深度对齐成全局优化点云，构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题，我们对合成和输入相机视图应用语义和几何约束作为规范，这些约束指导高斯函数的优化，帮助重建不可见的区域。总之，我们的方法提供了一个全局一致的 360 度视角的 3D 场景，相较于现有技术提供了更加增强的沉浸式体验。项目网址：this http URL

    Apr, 2024

  • 全景图像翻译

    本文提出了一种全景图像 - 图像转换的畸变感知模型，采用球形位置编码器和无畸变鉴别器，利用变形感知编码器和样式编码器处理全景图像和针孔图像的大领域差异，并且将全景图像的重构阶段与转换阶段分开学习，取得了不错的效果。

    Apr, 2023

  • See360：创新的全景视角插值

    使用潜在空间视点估计的多功能高效 360 度全景视图插值框架 ——See360，采用 2D 仿射变换的方式处理摄像机为中心的视图合成，实现了四个训练数据集的实时渲染和野外视图合成的出色性能。

    Jan, 2024

  • 4K4DGen：4K 分辨率下的全景 4D 生成

    通过引入一种新的管道和技术，我们实现了将单个全景提升为沉浸式 4D 体验，生成 360 度视角下具有 4K 分辨率的全方位动态场景，并提供沉浸式用户体验。

    Jun, 2024

  • Dream360: 基于 Transformer 的多样化沉浸式室外虚拟场景创建的 360 图像拓展

    提出了一种基于变换器的 360 图像扩充框架 Dream360，可以从用户选择的视口生成多样、高保真、高分辨率的全景图，考虑了 360 图像的球面特性，并通过两个关键学习阶段（基于 Spherical-VQGAN 的编码本全景扩充和新颖的频率感知细化）实现了更大的扩充灵活性和保真度。

    Jan, 2024