Jun, 2018

AGIL: 从人类中学习视觉 - 动作任务的注意力

PDF
TL;DR本文提出了 AGIL（Attention Guided Imitation Learning）框架，该框架使用深度神经网络学习人类注意力模型，以改善智能决策和任务性能。
intelligent agentsvisuomotor behaviorsgaze allocationagil frameworkneural network
发现论文，激发创造
  • 以意图为条件的注视导向图神经网络用于动作预测

    通过将人类凝视引入计算算法，我们提出了一种基于视觉 - 语义图的 “凝视引导行为预测” 算法，利用图神经网络识别行为者的意图并预测行为序列以达到该意图，并通过收集包含人类凝视数据的 VirtualHome 环境中生成的家庭活动数据集，在 18 类意图识别的准确性上实现了 7% 的改进，凸显了我们方法从人类凝视数据中学习重要特征的效果。

    Apr, 2024

  • 利用人类注视数据监督视频字幕生成神经注意模型

    本研究探讨是否可以利用人眼注视追踪信息定义注意力机制以提高视频字幕生成任务的性能，通过提出一种名为 GEAN 的视频字幕模型，并采用人眼注视追踪数据来提供生成句子的时空注意力，以及对语言相似性指标和人工智能通过 Amazon mechanical Turk 进行的评估，证明了由人眼追踪数据指导的空间注意力确实改善了多个字幕方法的性能，并展示了该方法在 VAS 数据集和标准数据集（如 LSMDC 和 Hollywood2）中实现了领先的性能，成为最先进的视频字幕生成方法。

    Jul, 2017

  • 利用眼动追踪来增强模仿网络在未知环境中的泛化能力

    通过模仿学习实现基于视觉的自动驾驶，将人类驾驶员的行为模仿训练在原始驾驶员视野图像和行动数据对上，同时将眼睛的关注点信息与深度神经网络集成，以提高网络对新环境的泛化性能。

    Jul, 2019

  • 通过学习人类关注特征图增强机器人学习

    本文提出一种新颖的方法来模拟和模拟人类注意力的近似预测模型，并将其作为结构化辅助特征图输入到下游学习任务中，通过在物体检测和模仿学习两个任务中的应用实验证明了人类注意力的预测可以提高训练模型的鲁棒性和在低数据情景下的快速学习。

    Aug, 2023

  • Voila-A: 用户注视注意力对齐视觉语言模型

    本文介绍了一种使用视线信息作为人类关注的代理来指导视觉 - 语言模型（VLMs）的方法，提出了一种名为 Voila-A 的新方法，通过目光对齐增强了这些模型在现实应用中的可解释性和效果，实验结果表明 Voila-A 显著优于几个基准模型，为更直观、以用户为中心的 VLMs 以及广泛的人工智能人机交互铺平了道路。

    Dec, 2023

  • 行动之前起身：利用人类的视觉注意力进行持续学习

    本文介绍了在 DeepMind Lab 的三维迷宫中，通过训练代理使用原始图像以及与基于实时谱残差技术生成的显著性地图相叠加的凝视图像，探索利用人类注意力聚焦来进行决策的有效性，并研究了在环境噪声下的迁移学习表现。

    Jul, 2018

  • 凝视意图估计：在 HRI 中的原理、方法和应用

    该论文综述了视觉注意力、眼动追踪及基于注视点的意图识别在智能机器人、电信系统和辅助机器人系统中的应用，并强调了设计这些系统时需要考虑的重要人因素问题和当前的限制。

    Feb, 2023

  • 使用逆向强化学习预测目标导向的人类注意力

    本文提出了第一个反向强化学习模型 (IRL) 模型，使用动态的上下文信念地图来学习人类视觉搜索中的内部奖励函数和策略，并且为了训练和评估我们的 IRL 模型，我们创建了 COCO-Search18 数据集，通过提取学习出的奖励地图，可以了解到目标依赖型背景的学习。

    May, 2020

  • 通过交互式注意力对齐，将人类和深度神经网络的眼睛对准

    提出了一种交互式注意力对齐（IAA）框架，旨在实现可操纵的深度神经网络（DNNs），其中利用 DNN 模型解释方法作为交互媒介，直接调整注意力以改善 DNN 的准确性和公正性，并提出了一个计算流程，即 GRADIA，可以同时最大化注意力质量和预测准确性。通过两项研究，发现这种框架可以显著提高模型准确性和公正性，为未来交互式用户界面设计提供了启示。

    Feb, 2022

  • CUEING：一项为自动驾驶编码人类凝视的先驱工作

    该论文提出了一种自适应的方法来清洗现有的人类凝视数据集，并提出了一个健壮的卷积自我注意凝视预测模型，实验证明我们的清洗方法和模型能够显著提高 ADS 性能和泛化能力。

    May, 2023