COLINGJun, 2018

用于复述识别、语义文本相似性、自然语言推理和问答的神经网络模型

PDF
TL;DR本文分析了几种神经网络设计（及其变体），对八个数据集进行了广泛的比较，包括释义识别、语义文本相似性、自然语言推断和问题回答等任务。我们提供了一个系统的研究，表明编码上下文信息的 LSTM 和句间交互至关重要，而 Tree-LSTM 并不能像先前宣传的那样有所帮助，但却出人意料地提高了 Twitter 数据集的性能；增强顺序推理模型是迄今为止较大数据集的最佳选择，而基于词对交互的模型在较少数据可用时实现最佳性能。我们将我们的实现作为开源工具包发布。
neural networksentence pair modelingperformance comparisoncontextual information encodingopen-source toolkit
发现论文，激发创造
  • 短文本消息中的释义检测深度网络模型

    本文探讨在自然语言处理上的同义词检测，基于深度学习的方法结合卷积神经网络和长短时记忆网络有效解决了用户生成的短文本同义词检测上的挑战，取得了优越表现。

    Dec, 2017

  • 通往通用释义句子嵌入的路途

    研究使用 Paraphrase Database 监督学习通用的、同义句的句子嵌入，比较 6 种组成结构并在相似度数据集和三个 NLP 任务上进行评估，在领域内复杂的结构（如 LSTM）有更好的性能，但在领域外使用简单架构如词平均比 LSTM 表现更好，同时演示如何将预训练的句子嵌入与监督任务相结合。

    Nov, 2015

  • 基于字符的神经网络用于句子对建模

    该研究研究了如何使用基于子词级别表示的模型进行句子对建模，结果表明在对语义和字符串相似性要求较高的语境下，不需要预先训练的单词嵌入也可以实现最先进的结果。该方法在社交媒体数据集上实现了最新成果，在新闻数据集上也取得了有竞争力的结果。

    May, 2018

  • 句对打分：迈向文本理解的统一框架

    本文提出新的统一框架，比较了常见的 IR 度量和神经模型在多个句子对分数任务和数据集上的性能，并尝试通过发布新的数据集来改进比较。我们提出了一种统一的开源软件框架，具有易于插拔的模型和任务，使我们能够尝试使用训练好的句子模型进行多任务复用并在 Ubuntu 对话数据集上提出了新的最优结果。

    Mar, 2016

  • 从自动挖掘的同义句训练有效的神经句子编码器

    本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

    Jul, 2022

  • 用于改写和文本摘要的语义句子嵌入

    介绍了一种适用于高级自然语言处理的句子向量编码框架，该框架可以从编码器 - 解码器模型中提取具有相似向量表示的常见语义信息的句子 latents 表示。我们将句子表示的应用用于两个不同的任务 -- 句子复述和段落摘要，使其适用于常用的循环框架处理文本。实验结果有助于深入了解向量表示适用于高级语言嵌入。

    Sep, 2018

  • 生物医学领域语义相似度评估的神经句子嵌入模型

    本研究以 PubMed 开放获取数据集中的 1.7 百万文章为依据，研究了目前最先进的神经句子嵌入模型在生物医学文献中语义相似性估计方面的有效性；结果表明，我们提出的受监督模型在生物医学基准数据集上的表现优于以往的方法，并呼吁进一步对生物医学句子中的矛盾和否定进行研究。

    Oct, 2021

  • 增强型 LSTM 用于自然语言推断

    本研究设计了基于 LSTM 的连锁推理模型，进一步考虑局部推理建模和推理组合的递归架构，包括句法分析信息在内，以实现更高准确性的神经网络推理模型。

    Sep, 2016

  • 卷积神经网络架构匹配自然语言句子

    本篇研究提出了一种卷积神经网络模型来匹配两个句子，并应用于不同语言和不同性质的匹配任务中，实验证明该模型表现出了良好的性能和比竞争模型更优的结果。

    Mar, 2015

  • 通过自动爬取和对齐的句子对进行神经重述

    本文介绍了一种基于语言约束的相似性搜索方法，用于自动产生大规模对齐语料库，以解决基于神经网络的释义生成面临的数据缺乏问题。该方法在意大利语的情况下进行评估，并使用基于指针的深度神经网络架构实验。

    Feb, 2024