Nov, 2023

展开虚拟世界，创造沉浸式体验

PDF
TL;DR此研究首创了一种生成沉浸式世界的方法，从古老的冒险游戏如《谜思》中汲取灵感，并运用现代的文本到图像模型。我们研究了将二维全景图转化为三维场景的复杂过程，解决了观察者在包围球内部导航时发生的感知扭曲问题。我们的方法采用类似 “修补” 技术的方法来纠正扭曲投影，实现了局部一致世界的平滑构建。这为人机交互中的技术、感知和体验现实之间的相互关系提供了广泛的洞察。
immersive worldstext-to-image modelsequirectangular projectionsdistorted projectionshuman-computer interaction
发现论文，激发创造
  • 奇幻世界：从单张图像生成交互式 3D 场景

    WonderWorld 是一个新颖的交互式 3D 场景推断框架，基于单个输入图像和用户指定的文本，用户能够探索和构建虚拟环境。通过利用快速高斯 Surfels 和引导式扩散深度估计方法，WonderWorld 能够在显著减少计算时间的同时生成几何一致的推断结果。我们的框架使用单个 A6000 GPU 在不到 10 秒钟内生成连接且多样化的 3D 场景，实现了实时用户交互和探索。这一方法在交互式 3D 场景生成方面取得了重要进展，为用户驱动的内容创作和虚拟环境中的探索开辟了新的可能性。我们将发布完整的代码和软件以进行可复现性。项目网站：https://this-website-url

    Jun, 2024

  • 4K4DGen：4K 分辨率下的全景 4D 生成

    通过引入一种新的管道和技术，我们实现了将单个全景提升为沉浸式 4D 体验，生成 360 度视角下具有 4K 分辨率的全方位动态场景，并提供沉浸式用户体验。

    Jun, 2024

  • Dream360: 基于 Transformer 的多样化沉浸式室外虚拟场景创建的 360 图像拓展

    提出了一种基于变换器的 360 图像扩充框架 Dream360，可以从用户选择的视口生成多样、高保真、高分辨率的全景图，考虑了 360 图像的球面特性，并通过两个关键学习阶段（基于 Spherical-VQGAN 的编码本全景扩充和新颖的频率感知细化）实现了更大的扩充灵活性和保真度。

    Jan, 2024

  • DreamSpace: 以文本驱动的全景纹理传播梦想您的房间空间

    提出了一种新颖的室内场景纹理生成框架，通过联想和模仿技术，以及采用粗到精的全景纹理生成方法和双重纹理对齐，实现了以文本为驱动的纹理生成，具有迷人的细节和真实的空间一致性。

    Oct, 2023

  • DreamScene360: 无约束的文本到 3D 场景生成与全景高斯喷洒

    我们提供了一个文本转 3D 360 度场景生成流水线，能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像，这作为一个初步的 “平面”（2D）场景表示。随后，通过采用粒子技术将它提升到 3D 高斯函数，以实现实时浏览。为了产生一致的 3D 几何结构，我们的流水线通过将 2D 单目深度对齐成全局优化点云，构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题，我们对合成和输入相机视图应用语义和几何约束作为规范，这些约束指导高斯函数的优化，帮助重建不可见的区域。总之，我们的方法提供了一个全局一致的 360 度视角的 3D 场景，相较于现有技术提供了更加增强的沉浸式体验。项目网址：this http URL

    Apr, 2024

  • Text2Immersion: 带有 3D 高斯的生成沉浸式场景

    Text2Immersion 是一种从文本提示生成高质量 3D 沉浸式场景的优雅方法，可以生成多样化的场景，进一步推动了基于文本的 3D 场景生成。

    Dec, 2023

  • 3D 虚拟现实画面质量研究

    本文旨在通过一项有关画质评估的研究，建立大规模的虚拟现实（VR）主观质量数据库，以发展 VR 品质模型和基准测试 VR 品质预测算法。研究中，使用 450 张受损的图像进行了调查，并记录了主观评分和眼动数据，支持了注视方向与品质感知之间的关系。文章还对几个公开可用的 IQA 模型进行了评估，并对比了它们的性能。

    Oct, 2019

  • 虚拟世界作为多对象跟踪分析的代理

    本研究运用计算机图形学的进展生成虚拟世界，实现了完全标记、动态、逼真的代理虚拟世界，并通过虚拟 KITTI 数据集提出了有效的现实世界克隆方法，通过该方法，可以提高深度学习算法预训练的性能。本研究进一步证明了虚拟世界可以测量各种天气和成像条件对识别性能的影响。

    May, 2016

  • 构建虚拟世界：从提示到实现的步骤

    本文介绍了利用大型语言模型进行代码生成的方法，以实现在虚拟现实世界中运用生成过程、计算机协助创作游戏和制作静态内容，同时探讨了如何评估和基准测试由生成模型创建的交互体验以及 AI 辅助共同创作在虚拟现实中的挑战。

    Nov, 2022

  • 使用文本生成互动式世界

    本文介绍了一种用于生成游戏世界的机器学习方法，通过基于多人文本冒险游戏环境 LIGHT 的内容，利用基于神经网络的模型将位置、角色和对象组成一个连贯的整体。除了基于现有元素创建世界，该模型还可以生成新的游戏内容，提供了交互式辅助世界构建的方法，研究表明，我们的方法可以创造出具有连贯性与多样性的游戏环境，人类评估者也相对于其他机器学习方法更偏爱我们的创造方法。

    Nov, 2019