Aug, 2018

比较基于注意力机制的卷积神经网络和循环神经网络：在机器阅读理解方面的成功与局限性

PDF
TL;DR提出基于比较 - 聚合框架和两阶段注意力的机器阅读理解模型，在 MovieQA 问答数据集上取得了最新成果。通过生成对抗样本研究模型的限制和卷积神经网络与递归神经网络之间的差异，并通过分析与人类推理的差异来评估模型的泛化能力。
machine reading comprehensioncompare-aggregate frameworkattentionadversarial examplesgeneralizability
发现论文，激发创造
  • 用人类视觉注意力解释机器阅读理解中的注意力模型

    通过比较使用不同架构的神经网络在机器阅读理解中的表现，发现与人类视觉注意力较为相似的 LSTM 和 CNN 模型的性能表现显著关联，但与之性能最佳的 XLNet 模型关联性不明显，提示不同架构的神经网络的注意力策略存在差异，且神经注意力与人类注意力相似性并不代表拥有最佳表现。

    Oct, 2020

  • QANet: 将局部卷积和全局自注意力相结合用于阅读理解

    本文提出一种名为 QANet 的新型机器阅读和问答架构，它没有使用循环神经网络，而是仅由卷积神经网络和自注意力机制组成，可在训练和推理期间实现更快的速度，并在测试集上实现了 84.6 F1 得分，超过了最佳发布 F1 得分 81.8。

    Apr, 2018

  • 使用 ConvNets 的快速阅读理解

    本文介绍了一种卷积架构，用简单的扩张卷积单元代替循环单元，取得了与循环神经网络同等水平的结果，在回答问题方面获得了多达两个数量级的加速。

    Nov, 2017

  • 基于注意力机制的卷积神经网络用于机器阅读理解

    本篇论文探讨了在 MCTest 数据集上应用基于神经网络的层次化注意力机制的机器理解和问答任务，实验结果表明这种方法大幅度超越之前的深度学习方法。

    Feb, 2016

  • 迭代交替神经注意力机制用于机器阅读

    我们提出了一种新颖的神经注意力架构，以解决机器理解任务，例如针对文档回答填空式查询的问题。与之前的模型不同，我们不将查询折叠成单个向量，而是使用迭代交替注意机制，允许对查询和文档进行细粒度的探索。我们的模型在标准的机器理解基准测试中，例如 CNN 新闻文章和儿童书籍测试 (CBT) 数据集中，优于最先进的基线。

    Jun, 2016

  • 使用注意力卷积序列建模技术识别场景文本

    本文提出了基于注意力卷积网络的端到端场景文本识别方法，通过卷积神经网络 (CNN) 代替循环神经网络 (RNN) 来实现输入序列的上下文依赖关系的准确捕捉，提高了识别效率，并结合残余注意力模块进一步提高特征识别的准确性。该方法在多个数据集上验证结果显示了显著的性能优势。

    Sep, 2017

  • 自注意力机制的优势：神经机器翻译结构的定向评估

    本文探讨了卷积网络、自注意力网络和循环神经网络在神经机器翻译中的表现。研究发现，自注意力网络和卷积网络在语义特征提取方面表现更好，但在长距离依赖性分析中没有超越循环神经网络。

    Aug, 2018

  • 一个用于文本序列匹配的比较和聚合模型

    本研究将词汇级别的比较和聚合作为一个一般的框架，以解决在 NLP 任务中，如机器理解、答案选择和文本蕴含等方面的序列匹配问题，并使用卷积神经网络来执行该框架。研究结果表明，某些基于逐元素操作的简单比较功能可以比标准神经网络和神经张量网络表现更佳。

    Nov, 2016

  • 结合循环神经网络和卷积神经网络进行关系分类

    本文针对 SemEval 2010 关系分类任务，研究了两种不同的神经网络结构：卷积神经网络和循环神经网络。我们分别演示了模型不同结构的效果，并提出了一种针对卷积神经网络的新型上下文表示法和针对连接主义双向循环神经网络的排名损失优化方法。最后，我们展示了使用简单投票方案将卷积神经网络和循环神经网络结合起来可以提高结果的准确性。我们的神经模型在 SemEval 2010 关系分类任务上获得了最先进的结果。

    May, 2016

  • 人类句子加工：循环或注意力？

    通过比较基于循环神经网络和 Transformer 架构的语言模型在人类语言处理方面的能力，本文揭示了 Transformer 在解释自定步调阅读时间和阅读过程中神经活动方面优于 RNN，并挑战了人类句子处理涉及循环和即时处理的普遍理念，并提供了线索检索的证据

    May, 2020