Apr, 2024

TwinDiffusion: 借助扩散模型增强全景图像生成的连贯性和效率

PDF
TL;DR通过 Crop Fusion 对质量进行提升和通过 Cross Sampling 进行效率优化，本文提出了一种针对全景图像生成中可见接缝和不连贯过渡等挑战的优化框架 TwinDiffusion，该框架通过引入无需训练的优化阶段来改善相邻图像区域的相似性，以及通过交错采样策略在裁剪过程中生成动态补丁，并通过综合评估，包括连贯性、保真度、兼容性和效率等因素，与现有方法进行比较，结果表明我们的方法在生成无缝和连贯全景图方面性能优秀，为全景图像生成的质量和效率确立了新的标准。
diffusion modelshigh-resolution image generationpanoramic imagestwindiffusionquality enhancement
发现论文，激发创造
  • 通过同步联合扩散实现一致的蒙太奇

    本文提出了 SyncDiffusion 方法，使用感知相似性损失从梯度下降同步多重扩散，用于生成更加协调的全景图。

    Jun, 2023

  • 通过文本与图像扩散模型个性化定制 360 度全景图

    基于扩散模型的个性化文本到图像（T2I）合成已经引起了最近研究的广泛关注，然而现有的方法主要集中在定制主题或风格上，忽视了全局几何的探索。本研究提出了一种集中于 360 度全景定制的方法，使用 T2I 扩散模型，它在本质上具有全局几何特性，通过精心制作的图像 - 文本配对数据集进行微调，最终采用 LoRA 进行训练。实验证明了我们定制的模型与所提出的 StitchDiffusion 相结合在生成高质量的 360 度全景图像方面的有效性。此外，我们的定制模型在产生未在微调数据集中见过的场景方面表现出卓越的泛化能力。

    Oct, 2023

  • 驯服文本到 360° 全景图像生成的稳定扩散

    通过双分支扩散模型 PanFusion，从文本提示生成 360 度全景图像，并使用投影感知的独特交叉注意机制提供协作降噪过程中的最小畸变。

    Apr, 2024

  • Diffusion360: 基于扩散模型的无缝 360 度全景图像生成

    基于扩散模型的 360 度全景图像生成任务的技术报告，提出了一种圆形混合策略，以实现几何连续性，同时提出了文本到 360 度全景图像和单图像到 360 度全景图像两个任务的模型

    Nov, 2023

  • MVDiffusion：基于对应关系感知扩散的全景多视图图像生成

    MVDiffusion 是一种基于视角差异的、并行、全局相互作用的图片生成模型，其特征是应用了一个各视图之间基于对应关系的注意力机制，在保持全局一致的前提下，同时生成所有图片，可用于全景图像和基于几何的多视图图像生成。

    Jul, 2023

  • Diffusion$^2$: 通过正交扩散模型的得分组合生成动态 3D 内容

    Diffusion$^2$ 是一种新颖的框架，通过从视频数据和多视图扩散模型获取几何一致性和时间平滑性的知识，直接生成密集的多视图和多帧图像，优化连续性 4D 表示，从而在几分钟内生成 4D 内容。

    Apr, 2024

  • 流式多扩散：基于区域的语义控制下的实时交互生成

    通过稳定快速推理技术和重构模型为新提出的多提示流批处理架构，我们提出了 StreamMultiDiffusion，这是第一个基于区域的实时文本到图像生成框架，在单个 RTX 2080 Ti GPU 上实现了 1.57 FPS 的区域文本到图像合成生成速度，比现有解决方案快 10 倍。

    Mar, 2024

  • 4Diffusion: 多视角视频扩散模型的 4D 生成

    我们提出了一种新颖的 4D 生成管道，名为 4Diffusion，旨在从单目视频中生成空间时间一致的 4D 内容。通过将可学习的运动模块与冻结的 3D 感知扩散模型结合，我们设计了一个为多视图视频生成量身定制的统一扩散模型，以捕捉多视图空间时间相关性。通过在精心策划的数据集上训练，我们的扩散模型获得了合理的时间一致性，并固有地保留了 3D 感知扩散模型的泛化性和空间一致性。随后，我们提出了基于我们的多视图视频扩散模型的 4D 感知得分蒸馏采样损失，以优化由动态 NeRF 参数化的 4D 表示，从而消除多个扩散模型引起的差异，实现生成空间时间一致的 4D 内容。此外，我们设计了一个锚点损失，以增强外观细节并促进动态 NeRF 的学习。广泛的定性和定量实验证明，我们的方法相比之前的方法具有更好的性能。

    May, 2024

  • 360DVD: 360 度视频扩散模型下的可控全景视频生成

    提出了一种名为 360-Degree Video Diffusion model (360DVD) 的可控全景视频生成方法，通过引入 360-Adapter 轻量级模块和辅助 360 度增强技术，将预训练的文字到视频模型转化为生成全景视频的模型，并提出了 WEB360 数据集来训练 360DVD，实验证明其在全景视频生成方面具有卓越的优势和效果。

    Jan, 2024

  • EfficientDreamer: 高保真和鲁棒的三维创作通过正交视图扩散先验

    通过引入一种新的二维扩散模型来生成由四个正交视图子图像组成的图像，从而利用正交视图图像引导生成高保真度的三维内容，并应用渐进式三维合成策略，显著提高了生成效率和质量，包括解决了 Janus 问题，并在定量和定性评估中证明了优越性。

    Aug, 2023