ICLRNov, 2016

机器阅读理解的双向注意力流

PDF
TL;DR本文介绍了双向注意力流 (BIDAF) 网络，它是一个多阶段分层过程，在不进行早期汇总的情况下，用双向注意力流机制表示不同粒度级别的上下文，并获得了查询感知的上下文表示。实验结果表明，该模型在 Stanford Question Answering Dataset (SQuAD) 和 CNN/DailyMail cloze 测试中取得了最先进的结果。
machine comprehensionattention mechanismsbi-directional attention flowcontext modelingquery-aware context
发现论文，激发创造
  • 反思读者：门控多跳注意力推理

    提出了一种基于 BiDAF 模型的 Ruminating Reader，通过增加多层注意力机制和信息融合组件来解决单次模型无法反思和纠正答案的问题。实验结果表明该模型在 SQuAD 数据集上显著优于基线模型，且超过了所有其他已发表的系统的性能。

    Apr, 2017

  • 面向多跳问题回答的粗粒度分解与细粒度交互

    本文提出了一种新的多跳问题回答模型架构，通过应用 CGDe 和 FGIn 两种策略，在 SQuAD 和 HotpotQA 数据集上表现出超越 state-of-the-art 基线的性能。

    Jan, 2021

  • 一种上下文感知的交互问答注意力网络

    该研究开发了一种基于上下文依赖词级别注重和问题引导的句子级别注意力的新型模型，以更准确地理解文本，加强上下文建模，可以在交互式问答场景中处理不完整或模糊信息，大大提升了传统 QA 模型的表现。

    Dec, 2016

  • 基于注意力机制的卷积神经网络用于机器阅读理解

    本篇论文探讨了在 MCTest 数据集上应用基于神经网络的层次化注意力机制的机器理解和问答任务，实验结果表明这种方法大幅度超越之前的深度学习方法。

    Feb, 2016

  • 自适应双向注意力：探索多粒度表示进行机器阅读理解

    本文介绍了自适应双向注意力（Adaptive Bidirectional Attention）模型用于机器阅读理解（Machine Reading Comprehension）中，通过利用不同层次的源表示来提高预测的精度并且在 SQuAD2.0 公开数据集上的实验表明，相比于之前的最先进模型，此方法的准确度提高了 2.5％EM 和 2.3％F1 分数。

    Dec, 2020

  • SQL 生成中的双向注意力

    该论文探究了自然语言生成 SQL 查询的问题，并使用综合方法设计了三个深度神经网络，应用双向注意机制和卷积神经网络的字符级嵌入来提高结果，最终在 WikiSQL 数据集上达到了最先进的结果。

    Dec, 2017

  • BAG：双向注意力实体图卷积网络用于多跳推理问答

    该研究提出了基于双向注意力实体图卷积 (BAG) 网络的多跳推理问题回答方法，通过图卷积网络获得实体图节点的关系感知表示，进而使用双向注意力机制生成问题感知节点表示，实现了在 QAngaroo WIKIHOP 数据集上准确性能最优的效果。

    Apr, 2019

  • 文档理解的双向上下文感知分层注意力网络

    本文提出了几种改进 Hierarchical Attention Network (HAN) 的方法，在一些大规模情感和主题分类数据集上证明了使用双向的 CAHAN 会比 HAN 更有效，代码公开。

    Aug, 2019

  • 基于双向注意力记忆网络的知识库问答

    本文提出了一种新型的双向注意力记忆网络（BAMnet），通过直接建模问题和知识库之间的交互作用来回答自然语言问题，并使用注意机制使解释性比其他基准线更好，在 WebQuestions 基准测试中，我们的方法明显优于现有的基于信息检索的方法，并且在（手工制作的）语义解析方法基础上依然具有竞争力。

    Mar, 2019

  • 单一背景大批量采样的分叉注意力

    我们的研究提出了分叉注意力，这是一种用于单一上下文批次采样环境中的语言模型推断的方法。该方法通过将注意机制在增量解码过程中划分为两个不同的 GEMM 操作，分别聚焦于预装填的 KV 缓存和解码过程，以降低冗余的内存 IO 成本，从而实现精确计算并保持标准注意机制的常规计算负载（FLOPs），但减少内存 IO。分叉注意力还与已知用于降低内存 IO 的多查询注意力机制兼容，进一步支持更大的批次大小和上下文长度。因此，该方法的高效性能导致更低的延迟，提高了其适用性，例如在实时应用中实现了并行的答案生成，而不会显著增加延迟，并且在与后处理技术如重新排序相结合时，性能得到了提升。

    Mar, 2024