IJCAIApr, 2020

保持真实：虚拟现实中真实现实的一扇窗

PDF
TL;DR本文提出了一种基于虚拟现实环境中的虚拟镜像或窗口的新交互范式。通过实现计算机视觉算法进行特征检测和对应匹配，该技术可应用于各种视频，直播应用，增强和虚拟现实设置，提供交互式和沉浸式的用户体验。该系统是一个实时渲染框架，用户可以将其真实存在与虚拟空间进行互动。
virtual realityuser experiencecomputer visionperspective accuracyreal-time rendering
发现论文，激发创造
  • FaceVR：虚拟现实中实时面部再现和眼神控制

    提出了一种基于图像的新方法 FaceVR，该方法可基于自我再现实现 VR 视频会议，通过实时面部动作捕捉算法和单目视频的新数据驱动方法，FaceVR 具备近乎逼真的成像效果和改变面部表情和目光方向的功能。

    Oct, 2016

  • RealityTalk: AR 实时说话驱动的增强展示技术在现场讲故事中的应用

    RealityTalk 系统是一种利用语音驱动的交互式虚拟元素增强实时演示的工具，它支持实时语音和其他支持型输入方式来互动地提示、移动和操作图形元素，商业提出了一组新颖的交互技术并进行了评估。

    Aug, 2022

  • 通过眼动追踪实现日常虚拟现实

    通过调查注意力和认知模型、隐私保护方法和协议，研究人员完成了 3 个主要研究贡献，旨在将 VR 和随身式头戴式设备推向日常生活。

    Mar, 2022

  • 虚拟世界作为多对象跟踪分析的代理

    本研究运用计算机图形学的进展生成虚拟世界，实现了完全标记、动态、逼真的代理虚拟世界，并通过虚拟 KITTI 数据集提出了有效的现实世界克隆方法，通过该方法，可以提高深度学习算法预训练的性能。本研究进一步证明了虚拟世界可以测量各种天气和成像条件对识别性能的影响。

    May, 2016

  • Video2Game：基于单个视频实时、交互、逼真和兼容浏览器的环境

    自动地将真实场景视频转换成逼真并且可交互的游戏环境的新方法 Video2Game，使用神经辐射场模块捕捉场景的几何与视觉外观，使用网格模块加速渲染，以及使用物理模块模拟对象之间的相互作用和物理动力学。

    Apr, 2024

  • 动态物体理解：评估人工视觉感知的框架

    本文讨论增强和混合现实中的视觉感知挑战，且探讨了现有评估标准的不足，并提出了新的评估指标以激励和评估这个新兴领域的进步。

    Feb, 2022

  • LookinGood: 实时神经再渲染技术提升表现捕捉

    该论文介绍了一种基于神经渲染的深层结构，可以在实时中进行补全、超分辨率、去噪，取得高质量图像，适用于虚拟和增强现实头盔，大大改善了用户的使用体验。

    Nov, 2018

  • 让遥控操作普及到每个桌子

    本文提出了一种基于 4 个消费级 RGBD 相机的多捕捉点的渲染系统，该系统可以将用户及其环境合成高质量的自由视点视频，实验证明该系统能够以快速、鲁棒的方式处理各种复杂的手势和着装，并能够应用于新用户，在不需要每个视频的优化的前提下，使远程出席成为可能。

    Apr, 2023

  • VRKitchen：面向任务学习的交互式 3D 虚拟环境

    通过 VRKitchen 的虚拟现实环境和集成功能，该研究使用现代人工智能方法驱动具有复杂任务能力的实体代理，使人类教师能够进行演示培训，为任务导向学习等领域的广泛应用提供了标准化的评估基准和数据收集工具。

    Mar, 2019

  • VirtualCube：一种沉浸式的 3D 视频通讯系统

    VirtualCube 是一个 3D 视频会议系统，使用 VirtualCube 作为虚拟会议环境的基本构建块，并使用 V-Cube View 算法进行实时渲染，能正确保护参与者之间的互相眼神接触，支持远程参与者的侧面交流，并照顾到参与者对工作项（如文档和应用程序）的视觉注意，使用常规硬件进行数据捕获的方案显著简化了任务。

    Dec, 2021