Dec, 2021

VirtualCube：一种沉浸式的 3D 视频通讯系统

PDF
TL;DRVirtualCube 是一个 3D 视频会议系统，使用 VirtualCube 作为虚拟会议环境的基本构建块，并使用 V-Cube View 算法进行实时渲染，能正确保护参与者之间的互相眼神接触，支持远程参与者的侧面交流，并照顾到参与者对工作项（如文档和应用程序）的视觉注意，使用常规硬件进行数据捕获的方案显著简化了任务。
发现论文，激发创造
  • 让遥控操作普及到每个桌子

    本文提出了一种基于 4 个消费级 RGBD 相机的多捕捉点的渲染系统，该系统可以将用户及其环境合成高质量的自由视点视频，实验证明该系统能够以快速、鲁棒的方式处理各种复杂的手势和着装，并能够应用于新用户，在不需要每个视频的优化的前提下，使远程出席成为可能。

    Apr, 2023

  • FaceVR：虚拟现实中实时面部再现和眼神控制

    提出了一种基于图像的新方法 FaceVR，该方法可基于自我再现实现 VR 视频会议，通过实时面部动作捕捉算法和单目视频的新数据驱动方法，FaceVR 具备近乎逼真的成像效果和改变面部表情和目光方向的功能。

    Oct, 2016

  • 保持真实：虚拟现实中真实现实的一扇窗

    本文提出了一种基于虚拟现实环境中的虚拟镜像或窗口的新交互范式。通过实现计算机视觉算法进行特征检测和对应匹配，该技术可应用于各种视频，直播应用，增强和虚拟现实设置，提供交互式和沉浸式的用户体验。该系统是一个实时渲染框架，用户可以将其真实存在与虚拟空间进行互动。

    Apr, 2020

  • 2D 转 3D 的一键升级：夹层 RGB-D 视频压缩用于立体电视会议

    通过神经网络的先处理和后处理以及几何感知损失函数的联合训练，将 2D 视频编解码器升级为支持立体 RGB-D 视频压缩的方法能在不需要特定硬件升级的情况下，以较小的比特率实现较高渲染质量，适用于各种视频编解码器。

    Apr, 2024

  • 混合现实远程会议的互相场景合成

    本文提出了一种新方法，通过深度学习条件场景增强过程和相互功能优化模块相结合，生成适用于所有混合现实远程实时视频会议场景的场景合成方法，以促进下一代空间计算平台上的情境化遥控系统的发展。

    Apr, 2022

  • 构想一款高效逼真的人体渲染技术的下一代扩展现实会议系统

    该研究探索了一种基于 Neural Radiance Field 和自由视点合成的算法用于更高效地呈现真实感更强的人类动态，以进一步在元宇宙会议系统中实现更沉浸式的会议体验。

    Jun, 2023

  • 用于医疗程序的混合现实通信：插入中心静脉导管的教学

    医疗程序是医疗交付的重要组成部分，获取操作技能是医学教育的关键组成部分。我们提出了一个混合现实实时通信系统，以增加对操作技能培训的获取，并改善远程紧急援助。我们的系统允许远程专家通过视觉和口头指导本地操作员进行医疗程序。研究结果表明，我们的系统相对于视频会议培训，可以提供更好的视觉交流和新的可能性。

    Dec, 2023

  • Baxter 的人造人：制造业中用于远程操作的虚拟现实空间

    本文讲述了如何通过商用虚拟现实技术和机器人控制软件集成降低成本来开发远程机器人系统，同时还引入了人体肢体表示模型，取得了比自动化算法更好的拾取、组装和制造效果。

    Mar, 2017

  • 基于模块化编解码的表现性远程存在

    本文介绍一种基于摄像头驱动的模块化编解码头像（MCA）生成技术，能够 解决传统头像模型在表达面部表情和实时应用中存在的问题，从而在 VR 遥控应用方面有更好的应用。

    Aug, 2020

  • 真实还是虚拟：视频会议背景操作 - 检测系统

    该研究提出了一种检测虚拟和真实视频会议背景的策略，可以防止用户误导其他参会者。通过自己创建的数据集训练，该检测器对不同质量的几何变换攻击表现均很强，准确率高达 99.80％。

    Apr, 2022