使用自然注视和运动特征来预测当前动作和目标对象的一个意图估计框架,可在较拥挤的场景中在单手或双手操作时进行训练和测试,并提出了一个基于规则的模型来识别双手操作。
Aug, 2022
本研究致力于研究人类如何利用共享的运动副本和动作模型等非语言视觉线索阅读他人的行为意图,研究人员使用实验数据和计算模型来验证其在人机交互领域中的应用,结果表明该模型对于解读人类行为意图和实现可读性交互是可行的。
Feb, 2018
对于服务机器人来说,关键是能够尽早地察觉到接近的人有意互动,以便主动采取友好行为,从而提升用户体验。我们通过一个自监督训练的序列到序列分类器来解决这个感知任务,主要研究了在这种情况下表示人的目光的特征的益处。在一个新的数据集上进行的大量实验证明,包含目光线索显著提高了分类器的性能(AUROC 从 84.5% 增加到 91.2%),能够实现准确分类的距离从 2.4 米提高到 3.2 米。我们还量化了系统在无外部监督的情况下适应新环境的能力。定性实验证明了与服务员机器人的实际应用。
Apr, 2024
该研究探讨了人类在机器人示范任务中的凝视模式,提出了如何利用这些模式来增强机器人的学习,进而提出了两种基于凝视数据的算法,并证明了这些凝视数据可以提高多步骤任务的子任务分类达 6%,提高单步任务的奖励推断和策略学习达 67%。
Jul, 2019
通过将人类凝视引入计算算法,我们提出了一种基于视觉 - 语义图的 “凝视引导行为预测” 算法,利用图神经网络识别行为者的意图并预测行为序列以达到该意图,并通过收集包含人类凝视数据的 VirtualHome 环境中生成的家庭活动数据集,在 18 类意图识别的准确性上实现了 7% 的改进,凸显了我们方法从人类凝视数据中学习重要特征的效果。
在这项研究中,通过研究人与机器人协同组装任务过程中的注视行为,发现注视机器人的目光往往是协同活动开始的前兆,为提升人机协同体验提供了潜在的改进方法。
Dec, 2023
基于眼动追踪数据的视频分析自动化是一个重要的任务。本文提出了一种基于转换器增强学习算法的模拟人类视线行为的新方法,通过观看视频并模拟人类注视行为,该方法能有效地复制人类注视行为并应用于实际任务。
本篇论文介绍了使用深度学习方法进行注意力识别来提高人机协作的体验,采用注视方向估计和迁移学习技术来识别人类操作员在协作过程中的注意力和分心行为,为此首次在仿真工业场景下验证了关注度识别模型的性能。
Mar, 2023
本文提出了 AGIL(Attention Guided Imitation Learning)框架,该框架使用深度神经网络学习人类注意力模型,以改善智能决策和任务性能。
Jun, 2018
使用人工神经网络建立了一个模块化系统,通过对分别裁剪的眼睛进行估计,利用人脸检测和头部姿势估计组件,无需特殊硬件或红外滤光片,仅使用内置 RGB 相机进行人眼注视估计,通过包含大量合成数据集在训练模型中,达到了比相关方法更高的准确度。
Nov, 2023