Apr, 2022

混合现实远程会议的互相场景合成

PDF
TL;DR本文提出了一种新方法，通过深度学习条件场景增强过程和相互功能优化模块相结合，生成适用于所有混合现实远程实时视频会议场景的场景合成方法，以促进下一代空间计算平台上的情境化遥控系统的发展。
remote telepresencemixed realitymutual scene synthesisspatial computingcontextualized telepresence systems
发现论文，激发创造
  • 元宇宙中基于联邦多视图综合的研究

    基于边缘智能和深度学习的多视角合成框架，实现了在元宇宙中无线内容传输的高效计算、存储和通信资源，并通过联邦学习和转移学习，提供了有效的学习过程和快速领域适应性。

    Dec, 2023

  • MuSHRoom：多传感器混合室内数据集用于联合三维重建和新视点合成

    通过提出多传感器混合房间数据集（MuSHRoom），对几个著名管道进行基准测试，并提出一种新的方法，可以在消费级设备上实现 3D 重建和新视角合成的融合，从而促进了提高 3D 重建和高质量渲染的性能。

    Nov, 2023

  • 语义控制下的人 - 场景交互合成

    本研究提出了一种名为 COINS 的生成模型，可以在高级语义规格的控制下合成 3D 场景内与虚拟人之间的自然互动，该模型通过编码统一的潜在空间和位置编码来嵌入互动语义，并可以自然地合成多个对象之间的组合互动，实验结果表明该模型可以合成具有语义控制的真实人 - 场景交互。

    Jul, 2022

  • 在 3D 室内场景中合成多样的人体动作

    提出了一种基于强化学习的方法来处理 3D 室内场景中虚拟人类与环境以及物体的交互，包括生成运动模型、创新的碰撞回避奖励函数、基于标记体和半径场的交互感知奖励函数以及训练策略等多个方面，实验结果表明，该方法在运动的自然性和多样性方面都优于现有的人 - 场景交互综合框架。

    May, 2023

  • 增量场景合成

    本研究提出了一种增量式生成 2D 或 3D 场景的方法，该方法具有全局一致性和局部真实观测结合的特点，能够在先前的全局先验和幻觉的基础上本地生成未观测到的区域，并能够通过自主导航将生成的幻景应用于实际场景，从而解决 SLAM 问题。

    Nov, 2018

  • 室内三维场景的简单有效合成

    研究如何从 1 或多张图像中合成逼真的室内 3D 场景，采用了基于图像的 GAN 来直接映射成高分辨率的 RGB-D 图像，及在 VLN 训练中进行空间干扰以提高成功率。

    Apr, 2022

  • 基于多条件扩散模型的语言驱动场景合成

    通过结合文字提示、人体动作和现有物体来进行多模态场景合成的多条件扩散模型，理论上支持，实验证明优于最先进的基准，并可实现自然场景编辑应用。

    Oct, 2023

  • 通过不确定性驱动的属性同步来实现场景合成

    本文介绍了一种新颖的神经场景合成方法，可以捕捉 3D 场景的各种特征模式，利用训练数据中学习到的参数先验分布对正向传递神经模型的输出进行规范化，并预测超完备的属性集，通过利用预测的属性之间的基本一致性约束来修剪不可行的预测，生成的 3D 场景忠实地插值训练数据并保留连续和离散的特征模式。

    Aug, 2021

  • 面向场景的人体运动合成生成网络

    本文提出了一种新框架，将场景和人体运动相互作用考虑在内，使用生成任务将人体运动的分布因子分解，并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果，涵盖了真实和合成环境。

    May, 2021

  • 基于生成人工智能的机动车元宇宙中有效的物理虚拟同步

    本文提出了一种基于生成式 AI 的物理 - 虚拟同步框架，用于车辆元宇宙。在物理到虚拟同步方面，由自动驾驶汽车生成的数字孪生（DT）任务通过 RSU 进行执行，在生成未来路径的同时，通过生成式人工智能模型基于用户首选项对元宇宙 AR 推荐器（MARs）进行多样化和个性化的推荐。

    Jan, 2023