人机交互的虚拟、增强和混合现实:调研和虚拟设计元素分类
本研究采用强化学习方法建立了一个多模态情感交互框架,利用人类用户的情感状态作为交互的奖励因素,优化了机器人的行为策略,并针对用户进行个性化情感交互来增强社交场景下机器人的自然性和吸引力。
Oct, 2021
本研究介绍了一种融合模型,即融合宇宙(FU),该模型将虚拟世界、物理世界和认知世界融合在一起。本文研究了涉及沉浸式和交互式体验的几个方面,并提出了融合宇宙的基本原则,可以将物理世界和虚拟世界无缝地融合在一起。
May, 2023
本文介绍一个从人与人互动学习到人机互动的方法,通过使用隐马尔可夫模型作为潜在空间先验,并结合变分自编码器来建模互动代理之间的联合分布。利用从人与人互动中学习到的互动动力学来学习人机互动,并将人类观测结果作为训练基础,从而预测更准确的机器人轨迹。进一步通过逆运动学调整生成的机器人动作,以确保与人之间的期望物理接近性,结合了关节空间学习的便利性和准确的任务空间可达性。在富含接触的互动中,我们利用 HMM 分割来调节机器人的刚度以实现柔顺的互动。通过用户评测,我们验证了所提方法在一个人形机器人上的有效性。尽管仅通过两个人的数据进行训练,我们的方法在不同人类之间表现出很好的泛化性能。实验结果表明,用户认为我们的方法更具人性化、及时性和准确性,并且较其他基准方法更具优势。
Nov, 2023
该论文通过引入系统分类法,对 AI 增强的虚拟现实应用于医疗保健领域进行了全面调查,将相关技术和应用细分为三个类别,即可视化增强、与 VR 相关的医学数据处理和 VR 辅助干预,为对这些技术进行更全面的理解和评估提供了一个框架。据我们所知,这是首次对医疗环境中的 AI 增强虚拟现实系统进行系统调查,为未来研究奠定了基础。
Feb, 2024
提出在商用虚拟现实界面下对工业机器人进行远程操作的问题,为此,提出了一个简化的过滤方法来处理命令信号,以便在熟练掌握虚拟现实界面的情况下对工业机器人进行远程操作,这一方法已在多种接触丰富的操作任务中得到了证明
May, 2023
提出一种基于动态机器人辅助手物交互的方法,通过手部姿态估计、自适应机器人控制和运动原语的综合运用,在实现精确任务执行和适应实时动作方面提高了人机物理交互的效果。
May, 2024
虚拟现实(VR)和增强现实(AR)工具已应用于所有工程领域,以避免使用物理原型,高风险情况下的培训以及对真实或模拟结果的解释。这篇论文提供了关于沉浸环境中协作研究的现状概述,讨论了不同类型的沉浸环境以及可能发生在这些环境中的协作形式。论文还强调了沉浸环境中协作的挑战和局限性,如缺乏物理线索、成本和可用性以及需要进一步的研究。总体而言,沉浸环境中的协作是一个具有广泛应用潜力的有前景的领域,从教育到工业都能增强个体和团体的有效协作能力。
Nov, 2023
本文介紹了智能對話系統的演進並提出了基於多模態信息的 Visual Context Augmented Dialogue System (VAD) 與其系統架構,藉此提高與人類互動的自然性和方便性,並探討了幾個有挑戰性與有代表性的研究議題。
Jul, 2022
Vision-and-Language Navigation involves developing embodied agents that navigate based on human instructions. This paper introduces Human-Aware Vision-and-Language Navigation by incorporating dynamic human activities and relaxing key assumptions, utilizing the HA3D simulator, HA-R2R dataset, Expert-Supervised Cross-Modal, and Non-Expert-Supervised Decision Transformer agents for effective navigation in dynamic human environments.
Jun, 2024