- 奇幻世界:从单张图像生成交互式 3D 场景
WonderWorld 是一个新颖的交互式 3D 场景推断框架,基于单个输入图像和用户指定的文本,用户能够探索和构建虚拟环境。通过利用快速高斯 Surfels 和引导式扩散深度估计方法,WonderWorld 能够在显著减少计算时间的同时生 - ACL语言模型是否能作为基于文本的世界模拟器?
当前文本基模型在作为文本世界模拟器方面的表现仍不可靠,需要进一步创新,本研究提供了新的见解和新的基准来追踪未来模型的发展。
- 面向数据驱动的自动驾驶虚拟测试的联合方法:AVEAS 项目
该研究介绍了德国 AVEAS 研究项目的中间结果,该项目旨在开发用于高级驾驶辅助系统和自动驾驶的虚拟验证和验证的真实世界数据的方法和度量,并建立遵循 FAIR 原则的在线数据库。
- 系统数据采集与数据驱动仿真方法用于自动驾驶功能的安全测试
增长的自动驾驶功能的复杂性和重要性,导致了对在虚拟环境和模拟模型中覆盖开发、验证和验证的显著比例的需求。我们提出了一种系统获取公共交通数据的方法,通过异构手段转换为统一表示,并用它来自动参数化交通行为模型,以用于数据驱动的自动驾驶功能的虚拟 - CVPRVideo2Game:基于单个视频实时、交互、逼真和兼容浏览器的环境
自动地将真实场景视频转换成逼真并且可交互的游戏环境的新方法 Video2Game,使用神经辐射场模块捕捉场景的几何与视觉外观,使用网格模块加速渲染,以及使用物理模块模拟对象之间的相互作用和物理动力学。
- EVOKE: 通过优化的知识蒸馏实现情感启用的虚拟化身映射
通过 Optimized KnowledgE distillation 技术,在虚拟环境中实现情感识别,并将识别到的情感映射到自定义的 3D 角色上,该方法利用了 DEAP 数据集进行多标签分类,模型精确度高达 87%。
- MM与您共舞:通过扩散模型实现多样控制的舞者生成
在这篇论文中,我们介绍了一种名为合作伴舞生成的新型多舞者合成任务,旨在合成能够与用户一起跳舞的虚拟人舞者,其核心是在保持与领舞者的时间协调的同时确保生成的合作伴舞的可控性多样性。我们提出了一个称为 DanY 的三阶段框架,通过引入不同舞蹈姿 - 迈向自由计算架构:Metaverse 中生成虚拟建筑的深度学习综述
该综述评估了使用深度生成模型(DGM)生成三维物体的最新方法,重点关注于建筑形式的虚拟环境中生成建筑的可能性,从离散光子生成、2D 图像生成 3D 模型到条件参数生成等等,同时指出了生成 3D 形状和参数化控制中未被探索的问题,其中数据限制 - ProcTHOR: 使用程序化生成技术的大规模体感 AI
我们提出了 ProcTHOR 框架,该框架可以进行过程生成,从而使我们能够在 Embodied AI 领域训练和评估有身体经验的代理人,该代理人可以在交互、导航和操作任务中表现出卓越的性能,并在多个基准测试中显示出现有最先进的结果。
- IJCAI通过生成 3D 虚拟环境评估连续学习算法
本文提出利用 3D 虚拟环境,通过自动化生成具有逼真外观的充满生命力的动态场景,进而探索在逼真情境下基于持续学习的算法进行更新的可能性,并采用参数化描述实现对视觉输入流的可视化控制。
- ICLRPlasticineLab:一项带有可微物理特性的软体操纵基准测试
介绍了可微分物理实验基准 PasticineLab,它包括一系列软体操纵任务,并评估了针对该基准的强化学习和梯度优化方法。实验结果表明,基于 RL 的方法难以高效解决大多数任务,而基于梯度的方法可以在几十次迭代内快速找到解决方案,但在需要长 - ACLCRAFT:关于力和相互作用因果推理的基准
该研究引入了 CRAFT 数据集,该数据集包含来自 20 个虚拟环境的 10K 个视频,涉及各种互相作用的对象。通过描述性,反事实和因果问题的回答,测试了 CRAFT 的易用性。尽管问题对人类来说很容易,但测试的基准模型,包括现有的最先进方 - 基于物理模拟的残余强化学习和估算手部姿态的熟练性操作
该研究提出了一种基于深度传感器和一种先进的 3D 手姿估计器的模型,使用模型自由的混合强化学习和模仿学习方法训练代理来实现虚拟环境中手 - 物体交互,通过引入物理约束,使得机器人能够完成更高效的手 - 物体操作。
- MM超越真实来源训练数据:用随机三维字符进行可推广的人员再识别
通过合成虚拟环境中的大规模人体图像数据集,训练出的行人再识别模型在全新领域中表现更好,该数据集名为 RandPerson,包含了来自 8000 个身份的 1801816 张人体图像,可以提高机器学习的泛化能力。
- 学习与否:虚拟环境导航学习作用分析
本文旨在比较基于学习的方法和经典方法在虚拟环境导航方面的表现,并通过对两个标准基准测试 MINOS 和 Stanford 大规模 3D 室内空间的经典导航代理的构建,证明了经典代理的优越性。同时,我们进行了详细的分析,研究学习代理和经典代理 - 虚拟环境中可视化的成本效益分析
本研究旨在从信息理论的角度对虚拟环境系统(包括增强现实、混合现实、剧院系统和大型幕墙)进行成本效益分析,解释为什么一些可视化应用程序比其他应用程序更能从虚拟环境中受益,并勾勒未来虚拟环境中可视化应用程序发展的路径。
- 探寻、开发或倾听:在三维世界中结合人类反馈和策略模型,加速深度强化学习
提出了一种在三维虚拟环境中使用离散人类反馈增强深度学习智能体性能的方法,通过将深度强化学习扩展到模型置信度和一致性以确定听取人类反馈、利用当前策略模型或探索智能体环境的最佳时机,以平衡这三种策略来增强其稳健性,实验结果展示所提出的技术改善了