本文介绍了 RepEval 2017 共享任务的结果，该任务评估了神经网络句子表示学习模型在 MultiNLI 语料库上的表现。结果表明，所有五个参赛团队都击败了以前的标记方法。最佳单一模型使用堆叠 BiLSTM 和残差连接来提取句子特征，并在与体裁匹配的测试集上达到了 74.5% 的准确率。结果表明，提交的所有系统对于句子意义的领域独立表示都有着合理的学习能力。

Jul, 2017

用 bidirectional LSTM 将一对句子分别编码成变长表示，再通过简单聚合函数创建固定长度的未经处理的表示。接着使用注意机制对这些表示进行细化处理。最后，将两个句子的细化表示相结合成为一个用于分类的向量，并且使用集成方法来提高模型的准确性，最终比 LSTM 基线表现更好，类似于 ESIM 模型的表现。

Jul, 2017

本研究提出了一种双向长短时记忆网络（BiLSTM）和最大池化层的分层策略，为各种自然语言处理任务提供高效的分层表征，并在多项评估任务中超越 InferSent 和 SkipThought，特别是在评估句子表征中语言特性捕捉的能力方面，优于 InferSent 模型。

Aug, 2018

该论文提出了一种基于句子编码技术的模型，通过使用双向 LSTM 进行单词级别的平均池化生成第一阶段的句子表示，并采用注意力机制替代平均池化，以更好地表示文本蕴含关系。最终，通过对斯坦福自然语言推理语料库的实验验证了该模型具有较少的参数以及比现有最佳的句子编码方法更高的性能。

May, 2016

本文介绍了一种基于注意力机制的循环神经网络模型，该模型在 2017 年 SemEval 跨语言语义文本相似度（STS）任务中取得了竞争性表现（前六名），并描述了我们参加跨语言 STS 任务的情况，该任务涉及英语、西班牙语和阿拉伯语的相似度比较。

Mar, 2017

本研究提出了一种基于双向长短期记忆的新型两层注意网络，利用 WordNet 生成知识图嵌入来提高情感分析的预测能力，将其与基于支持向量回归和多层感知机网络的监督模型相结合，实验结果表明该模型在 SemEval 2017 上表现优于顶尖系统，分别将 Sub-tracks 1 和 2 的准确率提高了 1.7 和 3.7 个百分点。

May, 2018

提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型，通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要，与目前最先进模型相比，在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分，并且人工评估表明我们的模型产生了更高质量的摘要。

May, 2017

本文研究了利用连续的语义表征通过递归神经网络生成特定情境下的自然语言的方法，提出了两种新方法，其中包含了注意力机制以解决因长序列引起的长程依赖问题，并在用户评论数据上进行了实验，展示了该方法生成的虚假评论非常自然，并且大部分能够躲过现有的虚假评论检测算法。

Nov, 2016

本文介绍了两种基于 Transformer 和 CNN 模型架构的预训练多语言句子编码模型，并使用基于翻译的桥接任务学习绑定表示将 16 种语言的文本嵌入到单一的语义空间中，以提高检索效率，与最先进的语义检索、翻译检索和检索问题回答模型相竞争，并在某些情况下超越了英文单语句子嵌入模型的表现水平。

Jul, 2019

提出了一种基于双向 LSTM-RNN 的简单的序列句子编码器，用于多领域自然语言推理，并通过对词嵌入进行微调和快捷连接。该编码器在编码两个输入句子成两个向量后，使用矢量组合的分类器将这两个句子之间的关系标记为蕴含，矛盾或中立等。此方法在多领域自然语言推理方面取得了强大的表现，并在原始 SNLI 数据集上取得了最新的编码结果。

Aug, 2017