MMAug, 2023

从少量未注册的超广角图像生成 360 度全景

PDF
TL;DR使用一种称为 PanoDiff 的新型方法，通过使用一个或多个未注册的 Narrow Field-of-View (NFoV) 图像，高效地生成完整的 360° 全景图，该方法通过两个主要组件来克服以往方法中的局限性，包括两阶段的角度预测模块和一种基于潜在扩散的全景生成模型，实验表明 PanoDiff 实现了最先进的全景生成质量和高可控性，适用于内容编辑等应用。
发现论文，激发创造
  • 360DVD: 360 度视频扩散模型下的可控全景视频生成

    提出了一种名为 360-Degree Video Diffusion model (360DVD) 的可控全景视频生成方法，通过引入 360-Adapter 轻量级模块和辅助 360 度增强技术，将预训练的文字到视频模型转化为生成全景视频的模型，并提出了 WEB360 数据集来训练 360DVD，实验证明其在全景视频生成方面具有卓越的优势和效果。

    Jan, 2024

  • Diffusion360: 基于扩散模型的无缝 360 度全景图像生成

    基于扩散模型的 360 度全景图像生成任务的技术报告，提出了一种圆形混合策略，以实现几何连续性，同时提出了文本到 360 度全景图像和单图像到 360 度全景图像两个任务的模型

    Nov, 2023

  • 驯服文本到 360° 全景图像生成的稳定扩散

    通过双分支扩散模型 PanFusion，从文本提示生成 360 度全景图像，并使用投影感知的独特交叉注意机制提供协作降噪过程中的最小畸变。

    Apr, 2024

  • 在 360 度世界中移动：从单个全景合成全景视差

    OmnineRF 是第一个将视差功能应用于新型全景视图合成方法，通过在不同虚拟相机位置的不同 2D 全景坐标系之间进行前后投影，从而可以优化一个全向神经辐射场并实现全向视角下固定中心的可见像素的集合，以估算来自不同相机位置的新视角的图像渲染效果。

    Jun, 2021

  • 通过文本与图像扩散模型个性化定制 360 度全景图

    基于扩散模型的个性化文本到图像（T2I）合成已经引起了最近研究的广泛关注，然而现有的方法主要集中在定制主题或风格上，忽视了全局几何的探索。本研究提出了一种集中于 360 度全景定制的方法，使用 T2I 扩散模型，它在本质上具有全局几何特性，通过精心制作的图像 - 文本配对数据集进行微调，最终采用 LoRA 进行训练。实验证明了我们定制的模型与所提出的 StitchDiffusion 相结合在生成高质量的 360 度全景图像方面的有效性。此外，我们的定制模型在产生未在微调数据集中见过的场景方面表现出卓越的泛化能力。

    Oct, 2023

  • PanoGRF：适用于大基线全景的通用球面辐射场

    本研究针对虚拟现实中宽基线全景图像合成新视角仍是一个挑战这一问题，提出了一种全景泛化球面辐射场 (PanoGRF) 方法。经过实验验证，该方法在多个全景数据集上均表现出优秀的性能，超过当前视角综合方法。

    Jun, 2023

  • 4K4DGen：4K 分辨率下的全景 4D 生成

    通过引入一种新的管道和技术，我们实现了将单个全景提升为沉浸式 4D 体验，生成 360 度视角下具有 4K 分辨率的全方位动态场景，并提供沉浸式用户体验。

    Jun, 2024

  • 利用全向图像完善技术提高新视角合成质量

    本文介绍了一种基于神经辐射场（NeRF）的方法，用于从单个 360 度 RGB-D 图像合成新景象，并利用 2D 图像生成模型，最大权重独立集问题和模拟退火等算法，以优化生成的图像。

    Mar, 2022

  • Dream360: 基于 Transformer 的多样化沉浸式室外虚拟场景创建的 360 图像拓展

    提出了一种基于变换器的 360 图像扩充框架 Dream360，可以从用户选择的视口生成多样、高保真、高分辨率的全景图，考虑了 360 图像的球面特性，并通过两个关键学习阶段（基于 Spherical-VQGAN 的编码本全景扩充和新颖的频率感知细化）实现了更大的扩充灵活性和保真度。

    Jan, 2024

  • 基于语义的 360 度视频超时速漫游生成

    本文提出了一种将全景视频转换为普通视野追踪摄影以实现最佳观看体验的系统，在利用视觉显著性和语义来非均匀取样以生成追踪摄影 的同时，用户还可以选择自定义感兴趣的物体。通过比较现有技术的研究结果，我们验证该系统的有效性。

    Mar, 2017