- 基于虚拟现实的身体追踪促进肌肉骨骼训练
我们设计了一个基于 HoloLens 2 的应用程序,通过自主训练和自动评估来实现老年人和受伤人员的肌肉骨骼训练,我们评估了 HoloLens 2 的运动数据是否足以控制和预测肌肉骨骼训练中的身体动作和关节角度,结果显示 HoloLens - 为虚拟现实中的对话代理赋予声音
在虚拟现实中,通过多模式和沉浸式交互,可以极大地提升与对话代理的对话体验。本研究提出了一种开源架构,旨在简化虚拟环境中工作的对话代理的开发过程。该架构提供了将不同领域的对话代理以及自定义或基于云的语音识别和语音合成模型集成进来使交互具备语音 - 从真实环境到虚拟环境的人机协作中以通信为重点的机器学习模型的系统调整
虚拟现实在多个领域中得到了证明:从游戏、医学和培训到人机协作界面的开发,它能够帮助设计师在超越真实环境限制的情况下探索应用,并开发创新的解决方案和体验。对于在虚拟领域借助自然而直观的手势实现协同机器人操作,需要创建大量的数据集,以便使工作界 - 从单幅肖像生成可动画的 3D 卡通人脸
本文提出了一种从单幅肖像图像生成动画化的 3D 卡通脸部的新框架,并针对传统模型建立漫画形象耗时且难以保持相似性的问题,提出了基于模板和形变转移的语义保留脸部绑定方法及实时动画演示。
- 使用等距岑圆投影的生成对抗网络进行 HRTF 上采样
本文提出了一种新的方法,使用生成对抗网络(GAN)将 HRTF 数据转换为便于使用卷积超分辨率生成对抗网络(SRGAN),该方法在稀疏输入 HRTF 时表现出较高的性能。
- Enhance-NeRF: 神经辐射场的多重性能评估
该研究通过提出 Enhance-NeRF 模型,增强神经放射场(NeRF)在虚拟现实和增强现实等领域的三维重建应用,改进了场景识别和学习能力,有望广泛应用于照明、材质和形状的室外场景重建,具备插拔式的易用性,并能够与其他 NeRF-base - 基于知识驱动的人机交互虚拟现实演示的机器人程序合成
本文介绍了一种通过虚拟现实人类任务演示自动生成可执行机器人控制程序的系统,利用常识知识和基于游戏引擎的物理,以及自动路径规划和代码生成,实现了具有表现力和通用性的任务表示,在强力抓取和放置机器人购物助手的场景中进行了演示。
- PanoGRF:适用于大基线全景的通用球面辐射场
本研究针对虚拟现实中宽基线全景图像合成新视角仍是一个挑战这一问题,提出了一种全景泛化球面辐射场 (PanoGRF) 方法。经过实验验证,该方法在多个全景数据集上均表现出优秀的性能,超过当前视角综合方法。
- 基于虚拟现实技术的深度学习模型表示、可视化和更新工具
我们展示了一种虚拟现实工具,利用手势和运动自动将数据输入分配到不同类别,实现了深度神经网络在透明度方面的可视化和加速了最终用户开发深度学习应用的过程。
- 眼动追踪虚拟现实:方法和隐私挑战的综合调查
该研究综合了 2012 年至 2022 年之间的文献,重点概述了虚拟现实中的眼动追踪技术及其在认证、隐私保护等方面的应用与挑战。针对用户隐私泄露问题,提出了三个研究方向。
- 工业机器人操作的虚拟现实远程控制界面
提出在商用虚拟现实界面下对工业机器人进行远程操作的问题,为此,提出了一个简化的过滤方法来处理命令信号,以便在熟练掌握虚拟现实界面的情况下对工业机器人进行远程操作,这一方法已在多种接触丰富的操作任务中得到了证明
- 融合模型:朝着虚拟、物理和认知的整合及其原则
本研究介绍了一种融合模型,即融合宇宙(FU),该模型将虚拟世界、物理世界和认知世界融合在一起。本文研究了涉及沉浸式和交互式体验的几个方面,并提出了融合宇宙的基本原则,可以将物理世界和虚拟世界无缝地融合在一起。
- OpenVR: 操作远程操作的遥控器
介绍一种使用虚拟现实技术进行机器人 Teleoperation 的方法,这种方法结合了 Franka Emika Panda 机器人和 Oculus VR 头戴式设备,并且具有易于使用和修改的特点。
- 机器人辅助手术交叉领域技术技能评估的不确定性感知自监督学习
提出了一种基于动力学数据的新颖技能评估方法,该方法通过将领域知识从已标记的动力学数据转移到未标记的数据,并利用伪标签对未标记数据进行准确的标注来评估机器人辅助手术中的新医生的技能水平。该方法相较于其他现有的方法不需要手动标记或者不需要先前医 - 元宇宙:调查、趋势、新型管道生态系统和未来展望
该文档介绍了多层次开发管道,包含计算、网络、通信和硬件基础设施,然后详细阐述了其中每个组件的发展细节以及相关技术对其进展的影响。最后概括性地介绍了该环境所面临的挑战和未来的研究方向,可为用户、学者和企业家提供全面的 Metaverse 生态 - 为音乐 VR 游戏生成关卡
此论文旨在自动化节奏地图的创建过程,使用音乐记录中的主要局部脉冲信息和循环神经网络学习如何创造 VIP 音乐作品,并利用 React 和 FastAPI 创建 Web 应用程序,使非技术玩家也能轻松使用。
- MM用户中心深度强化学习在无线网络元宇宙中的虚拟现实应用
本文介绍了一种基于多用户虚拟现实计算卸载的深度强化学习方法,可在符合多种要求和约束条件下找到近乎最优解,以此来探索 Metaverse 等虚拟世界的社交互动特点。
- 面向工程化人机中心的基于人工智能的软件系统需求框架
本文提出了基于人类中心 AI 准则和用户调查的新框架,以帮助收集人类中心的 AI 软件的需求,该框架适用于 360 度视频虚拟现实应用的案例研究。研究结果表明,该方法可以帮助团队全面理解项目需求,并确定在 AI 软件工程过程的初始阶段和后期 - 通过虚拟导航任务预测网络晕动症的数据集
本文提出了一个用于预测虚拟现实环境中晕动症的数据集,数据集包含多个参与者的生理响应(EDA 和心率)和自报晕动症状,数据集提供了宝贵的资源,以开发和评估晕动症预测模型,并促进晕动症的更多研究。
- LiteVR: 可解释的轻量级晕动检测,使用可解释人工智能
该论文提出了一种名为 LiteVR 的可解释人工智能框架,用于检测基于长短期记忆(LSTM)、门控循环单元(GRU)和多层感知机(MLP)的三种模型诉说其结果并减少功能维度和计算成本,其中眼动跟踪功能是检测疾病最为显著的特征。该框架可帮助研