Jun, 2024

奇幻世界：从单张图像生成交互式3D场景

HTML
PDF
TL;DRWonderWorld是一个新颖的交互式3D场景推断框架，基于单个输入图像和用户指定的文本，用户能够探索和构建虚拟环境。通过利用快速高斯Surfels和引导式扩散深度估计方法，WonderWorld能够在显著减少计算时间的同时生成几何一致的推断结果。我们的框架使用单个A6000 GPU在不到10秒钟内生成连接且多样化的3D场景，实现了实时用户交互和探索。这一方法在交互式3D场景生成方面取得了重要进展，为用户驱动的内容创作和虚拟环境中的探索开辟了新的可能性。我们将发布完整的代码和软件以进行可复现性。项目网站：https://this-website-url
发现论文，激发创造
  • ThreeDWorld：交互式多模态物理模拟平台

    TDW是一种用于交互式多模式物理模拟的平台，可支持高度逼真的感官数据和物体之间的物理交互，并支持在3D丰富环境中进行。通过TDW，可以进行多种物理材料的交互和渲染，并支持人机交互，从而在机器视觉、机器学习和认知科学等领域探索新的研究方向。

    Jul, 2020

  • Wonder3D：跨域扩散实现从单幅图像到三维模型

    Wonder3D是一种将单视图图像转化为高保真纹理网格的新方法，通过引入一种跨域扩散模型生成多视图法线贴图和相应的彩色图像，从而从多视图2D表示中提取高质量表面

    Oct, 2023

  • LucidDreamer: 无域生成三维高斯片状场景

    使用现有的大规模扩散式生成模型，LucidDreamer提出了一种无域场景生成管道，通过完全利用现有的大规模扩散式生成模型的能力来解决现有模型对特定领域场景的限制。

    Nov, 2023

  • 奇妙之旅：从任何地方到任何地方

    模块化的WonderJourney框架用于生成连续的3D场景，利用LLM生成场景的文本描述，使用文本驱动的点云生成流程生成连贯的3D场景序列，通过大型VLM验证生成的场景，展示了多样化的视觉效果。

    Dec, 2023

  • Text2Immersion: 带有3D高斯的生成沉浸式场景

    Text2Immersion是一种从文本提示生成高质量3D沉浸式场景的优雅方法，可以生成多样化的场景，进一步推动了基于文本的3D场景生成。

    Dec, 2023

  • V3D：视频扩散模型是有效的3D生成器

    基于视频扩散模型和几何一致性先验的自动生成方法在3D生成方面取得了很大突破，能够生成高质量的网格和3D高斯帧，并且在场景级别的新视角合成方面取得了优越的性能表现。

    Mar, 2024

  • DreamScene360: 无约束的文本到3D场景生成与全景高斯喷洒

    我们提供了一个文本转3D 360度场景生成流水线，能够在几分钟内为野外环境创建综合的360度场景。我们的方法利用2D扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像，这作为一个初步的“平面”（2D）场景表示。随后，通过采用粒子技术将它提升到3D高斯函数，以实现实时浏览。为了产生一致的3D几何结构，我们的流水线通过将2D单目深度对齐成全局优化点云，构建了一个空间连贯的结构。这个点云作为3D高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题，我们对合成和输入相机视图应用语义和几何约束作为规范，这些约束指导高斯函数的优化，帮助重建不可见的区域。总之，我们的方法提供了一个全局一致的360度视角的3D场景，相较于现有技术提供了更加增强的沉浸式体验。项目网址：this http URL

    Apr, 2024

  • 互动3D：通过互动3D生成创造你想要的东西

    通过增加用户交互能力，我们引入了Interactive3D框架，使得用户能够精确控制3D生成过程，从而显著提高3D生成的可控性和质量。

    Apr, 2024

  • iControl3D：一个可控的互动式三维场景生成系统

    本研究解决了3D内容创作过程中用户对生成结果的控制不足的问题，提出了iControl3D这一互动系统，允许用户精确控制可定制的3D场景生成。通过结合3D网格与2D扩散生成图像，并采用边界感知深度对齐技术，本系统能够有效地创建统一的3D场景表示，从而大大提升用户的创作自由度和体验。

    Aug, 2024

  • Sketch2Scene：基于用户草图自动生成交互式3D游戏场景

    本研究解决了3D内容生成中的数据缺乏问题，通过深度学习方法从用户的草图自动生成可玩的3D游戏场景。提出的创新方法利用预训练的2D去噪扩散模型来生成场景的二维图像，并结合程序化内容生成引擎，最终生成高质量的交互式3D场景，实现与用户设计意图的密切贴合。

    Aug, 2024