Oct, 2020

用人类视觉注意力解释机器阅读理解中的注意力模型

PDF
TL;DR通过比较使用不同架构的神经网络在机器阅读理解中的表现，发现与人类视觉注意力较为相似的 LSTM 和 CNN 模型的性能表现显著关联，但与之性能最佳的 XLNet 模型关联性不明显，提示不同架构的神经网络的注意力策略存在差异，且神经注意力与人类注意力相似性并不代表拥有最佳表现。
发现论文，激发创造
  • Transformer 模型是否显示出与任务特定的人类凝视类似的注意力模式？

    通过比较两个任务特定的阅读数据集，研究表明，大规模预训练自注意力模型对于人类注意力的预测能力依赖于罕见语境的句法性质，而任务特定的微调不增加与人类阅读的相关性，并且通过输入减少实验给出了互补信息，表明低熵的注意向量更为可靠。

    Apr, 2022

  • 比较基于注意力机制的卷积神经网络和循环神经网络：在机器阅读理解方面的成功与局限性

    提出基于比较 - 聚合框架和两阶段注意力的机器阅读理解模型，在 MovieQA 问答数据集上取得了最新成果。通过生成对抗样本研究模型的限制和卷积神经网络与递归神经网络之间的差异，并通过分析与人类推理的差异来评估模型的泛化能力。

    Aug, 2018

  • 深度神经网络中人和机器关注的更多理解

    通过对机器注意力机制和人类视觉注意力关系的系统研究，本文发现人类关注可以作为注意驱动任务有意义的基准，并证明更接近人工注意力机制的性能更好，同时更好的注意力对于更高级别的计算机视觉任务的可解释性也有显著提升。

    Jun, 2019

  • 迭代交替神经注意力机制用于机器阅读

    我们提出了一种新颖的神经注意力架构，以解决机器理解任务，例如针对文档回答填空式查询的问题。与之前的模型不同，我们不将查询折叠成单个向量，而是使用迭代交替注意机制，允许对查询和文档进行细粒度的探索。我们的模型在标准的机器理解基准测试中，例如 CNN 新闻文章和儿童书籍测试 (CBT) 数据集中，优于最先进的基线。

    Jun, 2016

  • 探究视觉问答中人类注意力监督

    本研究主要针对如何将注意力监督应用于基于 Attention 机制的视觉问答任务中，提出人类注意力网络（HAN）来生成类似于人类的注意力图，并将其应用于 VQA v2.0 数据集中。实验结果表明，该方法能够产生更准确的注意力机制和更好的性能。

    Sep, 2017

  • 利用人类注视数据监督视频字幕生成神经注意模型

    本研究探讨是否可以利用人眼注视追踪信息定义注意力机制以提高视频字幕生成任务的性能，通过提出一种名为 GEAN 的视频字幕模型，并采用人眼注视追踪数据来提供生成句子的时空注意力，以及对语言相似性指标和人工智能通过 Amazon mechanical Turk 进行的评估，证明了由人眼追踪数据指导的空间注意力确实改善了多个字幕方法的性能，并展示了该方法在 VAS 数据集和标准数据集（如 LSMDC 和 Hollywood2）中实现了领先的性能，成为最先进的视频字幕生成方法。

    Jul, 2017

  • 神经注意力模型人类阅读

    本篇论文通过使用无监告运算架构的神经注意力和自编码，探讨了人类阅读时的跳过现象和读取过程的计算，提出了一种新的方法，并在 Dundee 眼球追踪语料库上对该模型进行了评估，表明它能够很好的预测跳过行为和阅读时间，捕捉了人类阅读的已知定性特征。

    Aug, 2016

  • 自注意力机制的优势：神经机器翻译结构的定向评估

    本文探讨了卷积网络、自注意力网络和循环神经网络在神经机器翻译中的表现。研究发现，自注意力网络和卷积网络在语义特征提取方面表现更好，但在长距离依赖性分析中没有超越循环神经网络。

    Aug, 2018

  • 神经机器翻译中的注意力关注什么？

    本研究提供详细分析和比较注意力和传统对齐，在一些情况下表明注意力不同于对齐且能捕捉除对齐以外的有用信息。

    Oct, 2017

  • EyeTrans: 人机融合关注力在神经编码摘要中的应用

    通过将人的注意力纳入到 Transformer 模型中，本研究提出了一种用于增强神经代码摘要的方法，名为 EyeTrans。将人的注意力与机器的注意力相结合引起了功能摘要性能高达 29.91％以及通用代码摘要性能高达 6.39％的改善，同时对 AI 在软件工程领域的研究提供了更多以人为中心的方法和数据。

    Feb, 2024