- 持续学习、适应和改进:一种自动驾驶的双处理方法
LeapAD 是一种受人类认知过程启发的自动驾驶新范式,通过模拟人类注意力和创新的双过程决策模块,实现选择驾驶决策相关的关键对象、简化环境解释并缓解决策复杂性。闭环测试发现 LeapAD 在 CARLA 上表现优于仅依赖摄像机输入的方法,仅 - EyeTrans: 人机融合关注力在神经编码摘要中的应用
通过将人的注意力纳入到 Transformer 模型中,本研究提出了一种用于增强神经代码摘要的方法,名为 EyeTrans。将人的注意力与机器的注意力相结合引起了功能摘要性能高达 29.91%以及通用代码摘要性能高达 6.39%的改善,同时 - 通过学习人类关注特征图增强机器人学习
本文提出一种新颖的方法来模拟和模拟人类注意力的近似预测模型,并将其作为结构化辅助特征图输入到下游学习任务中,通过在物体检测和模仿学习两个任务中的应用实验证明了人类注意力的预测可以提高训练模型的鲁棒性和在低数据情景下的快速学习。
- 人类和卷积神经网络在场景分类时是否关注相似的区域:任务和图像类型的影响
通过研究人类与卷积神经网络 (CNN) 的注意力图之间的相似性,揭示了人类注意力的影响因素,发现任务类型和图像特征对人类与 CNN 的相似性产生显著影响,并强调在比较人类和 CNN 的注意力时需要考虑人类因素。
- 对比语言图像预训练模型作为零样本人类扫视路径预测器
介绍了 CapMIT1003 数据集和 NevaClip 预测视觉扫描路径的方法,后者结合了对比语言 - 图像预训练模型和仿生神经视觉注意力算法,结合任务相关的指导信息,提高了视觉注意力的模拟准确性。
- 利用眼动追踪模拟人类注意力以进行神经源代码摘要
该研究利用发布的眼动实验数据创建了人类关注模型,并使用它来改进基于神经网络的源代码摘要方法,以预测在生成自然语言描述时代码中最重要的单词。
- 基于人类注意力引导的可解释人工智能计算机视觉模型
研究将人的注意力知识融入到基于显著性的 XAI(可解释人工智能)方法中,以增强计算机视觉模型的合理性和可靠性,并开发了新的基于梯度的 XAI 方法来生成物体特定的解释,并使用可训练的激活函数和平滑核来最大化 XAI 显著图与人类注意图的相似 - ACLTransformer 模型是否显示出与任务特定的人类凝视类似的注意力模式?
通过比较两个任务特定的阅读数据集,研究表明,大规模预训练自注意力模型对于人类注意力的预测能力依赖于罕见语境的句法性质,而任务特定的微调不增加与人类阅读的相关性,并且通过输入减少实验给出了互补信息,表明低熵的注意向量更为可靠。
- 用人类视觉注意力解释机器阅读理解中的注意力模型
通过比较使用不同架构的神经网络在机器阅读理解中的表现,发现与人类视觉注意力较为相似的 LSTM 和 CNN 模型的性能表现显著关联,但与之性能最佳的 XLNet 模型关联性不明显,提示不同架构的神经网络的注意力策略存在差异,且神经注意力与人 - ICML使用强化学习在微任务中中断用户
使用强化学习技术调度微任务,最小化用户打扰和提高用户体验
- MM深度神经网络中人和机器关注的更多理解
通过对机器注意力机制和人类视觉注意力关系的系统研究,本文发现人类关注可以作为注意驱动任务有意义的基准,并证明更接近人工注意力机制的性能更好,同时更好的注意力对于更高级别的计算机视觉任务的可解释性也有显著提升。
- ICCV图像字幕中的人类注意力:数据集和分析
研究通过使用新的包含视觉图像和口头描述的数据集,比较了人类在自由观看和图像描述任务中的注意力差异以及注意力部署机制,并分析了软注意机制与人类注意力之间的相似性。最终表明人类注意力与当前的软注意机制仍存在较大差距,并且将软注意机制与视觉显著性 - ICCV利用解释使视觉和语言模型更加基于实际 - HINT 方法
本文提出了一种名为 HINT 的通用方法,通过有效利用人类演示来改善视觉基础,以优化深度神经网络的对视觉概念的敏感性,并在视觉问答和图像描述任务中应用,在仅利用 6% 的训练数据的人类关注示例下,优于 VQA-CP 和强健字幕的主要方法。
- 全景视频中头部运动的预测:一种深度强化学习方法
本研究建立了一个数据集来收集被试者在全景视频序列中的头部运动,发现数据高度一致。基于此,利用深度强化学习预测头部运动的位置,提出了一种基于离线和在线版本的 DRL 预测方法,在实验证明该方法在全景视频 HM 位置的离线和在线预测中都有效
- ICML视觉问答中的人类注意力:人类和深度网络是否注视相同的区域?
我们设计了多个游戏化的新颖注意力注释界面,要求对象放大模糊图像的区域以回答有关图像的问题,进而在 Visual Question Answering(VQA)中进行了大规模的人类注意力研究,引入了 VQA-HAT(Human Attenti - EMNLP视觉问答中的人类关注:人类和深度神经网络是否看同一区域?
我们通过设计游戏化的注意力注释接口,在 Visual Question Answering(VQA)中对人类注意力进行了大规模研究,为此引入了 VQA-HAT 数据集,在定性和定量方面评估 VQA 模型生成的注意力信息与人类注意力的相似性。