ACLJan, 2017

基于任务的短语对齐注意池化对句子匹配的贡献

PDF
TL;DR本研究比较了两种典型的句子匹配任务：文本蕴含和答案选择，发现在文本蕴含中，弱短语对齐更为关键，而在答案选择中，强短语对齐更值得注意。我们提出了一种基于门控循环单元的架构，支持任意粒度的短语表征学习和特定任务的短语对齐的关注池化，实验结果证明了我们方法的有效性。
sentence matching taskstextual entailmentanswer selectionphrase alignmentgated recurrent unit
发现论文，激发创造
  • 基于短语的注意力机制

    本文提出了新颖的基于词组注意 (phrase-based attention) 的方法，将 n 个词组建模为注意机制实体，从而在 Transformer 网络中引入这种方法，结果在 WMT'16 训练数据的英德翻译任务中，分别提高了 1.3 BLEU 和 0.5 BLEU。

    Sep, 2018

  • 具有语言结构的短语弱监督视觉定位

    文章提出了一种弱监督方法，该方法以图像 - 句子对为输入，学习以空间注意力掩模的形式定位任意语言短语。我们介绍了一种端到端模型，使用两种精心设计的损失函数学习短语的视觉基础，并在句子中使用引诱的解析树结构来确保注意力掩码的补充性及组合性。

    May, 2017

  • 学习改写：使用多序列对齐的无监督方法

    使用可比较语料库中的句子进行多序列匹配从而自动学习和应用单词格点对表示的改写模式，实现文本的生成和改写。实验结果表明系统可以准确地生成和改写文本并优于基线系统。

    Apr, 2003

  • 使用句子级目标预训练 Transformer 模型进行答句选择

    本文提出了三种新的句子级别的 transformer 预训练目标，以提高 transformer 模型在答案句子选择和文档检索任务中的表现，并减轻对大量标记数据的需求。实验证明，我们的预训练 transformer 模型在三个公共 AS2 数据集和一个工业 AS2 数据集上的表现优越，胜过 RoBERTa 和 ELECTRA 等基线模型。

    May, 2022

  • ABCNN：基于注意力机制的卷积神经网络用于建模句对

    提出了一种基于注意力机制的卷积神经网络 (ABCNN)，可用于模拟一对句子，将句子表示法相互考虑，从而获得 AS、PI 和 TE 任务上的最佳表现。

    Dec, 2015

  • 稠密连接循环和协同信息的语义句子匹配

    本文提出了一种基于 DenseNet 的密集连接共同注意递归神经网络来处理句子匹配问题，并在竞争激烈的基准数据集上验证了其在注意特征和重要信息方面的优势，实现了最先进的性能水平。

    May, 2018

  • 用于有效答案句子选择的问题 - 上下文对齐和答案 - 上下文依赖

    该论文通过显式地合并问题上下文和答案上下文，利用最优传输和图卷积网络来改进候选句的评分，进而在 WikiQA 和 WDRASS 等流行的 AS2 基准测试上取得了最新的最佳效果。

    Jun, 2023

  • 用神经注意力推断

    本文提出了一种新的神经模型，使用长短时记忆单元读取两个句子以确定蕴含关系，通过逐词的注意机制对每个单词和短语的蕴含进行推理，该模型在大型蕴含数据集上表现出了更好的性能，并且是第一个在文本蕴含数据集上实现最先进准确度的通用端到端可导系统。

    Sep, 2015

  • 答案句子选择的深度学习

    通过分布式表征学习语义编码，我们提出了一种新方法，用于解决回答句子选择的任务，该方法不需要任何特征工程或专业语言数据，可轻松适用于各种领域和语言，并在 TREC 标准基准数据集上达到了与最先进的性能相当的结果。

    Dec, 2014

  • 在延迟预算中建模答案句子选择系统中的语境

    本文介绍了一种在 AS2 模型中有效地结合上下文信息的方法，通过使用无监督相似性技术从源文档中提取相关句子，然后将其馈送到经过微调的高效 transformer 架构中，我们的最佳方法使用多路注意力框架来有效地编码上下文，改进了 AS2 的非上下文状态最佳结果的 6％至 11％，并对系统延迟影响不大。

    Jan, 2021