Feb, 2023

无 PPA：非参数成对注意力随机游走模型的句子表示

PDF
TL;DR提出一种名为 NoPPA 的新型非参数 / 不可训练语言模型，只使用预训练词嵌入和预计数词频来生成句子嵌入，并通过非参数的注意机制打破袋装词语假设的限制。在八个不同的下游分类任务上验证，实验结果显示 NoPPA 在每个数据集上均优于所有基于长袋的方法，并在平均性能上提供与最先进的非参数方法相当或更好的性能。此外，可视化证实了 NoPPA 能理解上下文主题、常用短语和词语因果关系。
发现论文，激发创造
  • 具有潜在树状注意力的神经机器翻译

    我们介绍了一种利用循环神经网络语法编码器和新颖的注意力递归神经网络解码器的模型，利用策略梯度强化学习来在源语言和目标语言上诱导无监督树结构，从而训练出在字符级数据集中相当不错的分割和浅层解析表现，接近注意力基准。

    Sep, 2017

  • 基于字符的神经网络用于句子对建模

    该研究研究了如何使用基于子词级别表示的模型进行句子对建模，结果表明在对语义和字符串相似性要求较高的语境下，不需要预先训练的单词嵌入也可以实现最先进的结果。该方法在社交媒体数据集上实现了最新成果，在新闻数据集上也取得了有竞争力的结果。

    May, 2018

  • ABCNN：基于注意力机制的卷积神经网络用于建模句对

    提出了一种基于注意力机制的卷积神经网络 (ABCNN)，可用于模拟一对句子，将句子表示法相互考虑，从而获得 AS、PI 和 TE 任务上的最佳表现。

    Dec, 2015

  • 基于树形结构注意力编码器的句对建模

    本文介绍了一种关注编码器，结合了树状递归神经网络和序列循环神经网络，用于对模拟句子对。我们的关注编码器将 RNN 生成的一个句子的表示用于指导另一个句子的结构编码，评估结果表明，在语义相似度和释义选择方面，我们的编码器优于所有基线，并取得了最佳结果。

    Oct, 2016

  • 用于复述识别、语义文本相似性、自然语言推理和问答的神经网络模型

    本文分析了几种神经网络设计（及其变体），对八个数据集进行了广泛的比较，包括释义识别、语义文本相似性、自然语言推断和问题回答等任务。我们提供了一个系统的研究，表明编码上下文信息的 LSTM 和句间交互至关重要，而 Tree-LSTM 并不能像先前宣传的那样有所帮助，但却出人意料地提高了 Twitter 数据集的性能；增强顺序推理模型是迄今为止较大数据集的最佳选择，而基于词对交互的模型在较少数据可用时实现最佳性能。我们将我们的实现作为开源工具包发布。

    Jun, 2018

  • 基于预训练语言模型的句子嵌入中语义与句法的解耦

    ParaBART 是一个语义句子嵌入模型，使用基于源句子和目标释义之间语义相似性差异的语法指导解开基于预训练语言模型的嵌入中的语法和语义信息的工作。该方法在英语分析上表现出色，能有效的从语义句子嵌入中删除语法信息，提高对下游语义任务的鲁棒性。

    Apr, 2021

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 基于注意力机制的神经文本分割

    本文提出了一种基于注意力机制的双向 LSTM 模型，使用卷积神经网络学习句子嵌入，利用上下文信息预测文本分段，相比现有的竞争基准方法，在三个基准数据集上的 WinDiff 分数提高了约 7%。

    Aug, 2018

  • 基于循环注意力模型的神经机器翻译

    通过使用一个循环网络来明确地建模词语先前和随后的注意力水平之间的关系，我们改进了 Bahdanau 等人（2014）的注意力模型，并且我们的参数化注意力模型的实验表明其可以提高翻译质量。

    Jul, 2016

  • 神经网络机器翻译的两两评估

    本文介绍一种利用神经网络在成对翻译评估中选出最佳翻译的新方法，该方法基于单词和句子嵌入形成紧凑的分布式向量表示，并利用多层神经网络对参考文本和两个翻译之间的交互进行建模，从而可以高效地学习和分类，且与人类评估结果的相关性不亚于当前技术水平的最高水平。

    Dec, 2019