临床领域自然语言推理的启示

EMNLPAug, 2018

Lessons from Natural Language Inference in the Clinical Domain

Alexey Romanov, Chaitanya Shivade

TL;DR介绍了 MedNLI 数据集的自然语言推理任务 (NLI)，并提出了两种解决深度神经网络模型在特定领域泛化能力差的方法：利用开放域数据集进行迁移学习和结合外部数据和词汇来源的领域知识。实验结果表明，两种方法均可提高模型性能。

Abstract

State of the art models using deep neural networks have become very good in learning an accurate mapping from inputs to outputs. However, they still lack generalization capabilities in conditions that differ from

deep neural networks generalization capabilities mednli dataset transfer learning domain knowledge

发现论文，激发创造

采用预训练语言模型提高临床自然语言推理表现 —— 基于 MEDIQA 2019 的研究

本文介绍了一种使用预训练语言模型和迁移学习的基于词 / 子词级别的模型，用于分析医学领域的文本，并在自然语言推理任务中取得了 90.6% 的准确率，为医学领域的模型构建提供了一些有用的信息。

Jun, 2019

一种用于 NLI 模型领域泛化的合成数据方法

自然语言推理是语言模型的重要基准任务，在领域泛化上的问题中，我们通过生成多样化的合成 NLI 数据，使得模型在全新的下游测试环境中具有最佳的泛化性能。

Feb, 2024

利用领域外知识提升科学问题领域自然语言推断

本文提出了一种运用知识图谱的结合方法来提高自然语言推理问题（NLI）领域中性能的技术，该技术在文本、图形和文本到图形的模型上均取得了最新的最优表现，并讨论了外部知识在解决 NLI 问题中的实际意义。

Sep, 2018

利用知识图谱将领域知识融入医疗自然语言推理

本文研究如何将医学语言模型（BioELMo）的结构与医学任务中可用的知识图谱（UMLS）进行融合，通过实验验证结论表明融合策略不仅仅是可以改善 MedNLI 数据集上的 BioELMo 模型的基线表现，而且在医疗领域的任务中也导致了最前沿的结果。

Aug, 2019

DocNLI: 一个大规模的文档级自然语言推理数据集

介绍了 DocNLI 数据集，它是基于广泛的 NLP 问题构建的，涵盖了文本的多种类型和文档层级上的 NLI，而不是仅仅句子层级上的。实验表明，即使没有微调，预训练于 DocNLI 上的模型在流行的句子级基准测试中表现良好，并且推理到文档层级上的跨域 NLP 任务具有良好的泛化性能。

Jun, 2021

带有外部知识的神经自然语言推理模型

本文研究在于如何用外部的知识来丰富神经网络的自然语言推理模型，并展示了这些模型如何在 SNLI 和 MultiNLI 数据集上实现最先进的性能水平。

Nov, 2017

一种无需特定语言训练数据的深度自然语言推理预测器

我们提出了一种 NLP 技术，利用通用翻译数据集和知识蒸馏技术，通过两个预训练模型在源语言和目标语言上的表现实现了目标语言的句子关系推理，该技术在多个任务上展现了普适性。

Sep, 2023

自然语言推理在生物医学问答中的可迁移性

本文提出了一种在生物医学问答任务中应用预训练语言模型和迁移学习的方法，并通过实验证明优化迁移学习任务的顺序可以显著提高其性能。

Jul, 2020

使用词汇 - 语义约束生成生物医学自然语言推理数据集用于对抗样本

利用新型半监督过程从现有生物医学数据集生成一个针对复杂决策中自然语言推理问题的数据集 BioNLI，进行负样本生成的实验，准确度中等，在不同的负样本分类上表现不同。

Oct, 2022

通过 NLI 微调改进领域特定检索

该论文研究了自然语言推断数据的微调潜力，以提高信息检索和排名的效果，并通过使用来自波兰最大的电子商务网站和选定的开放领域数据，对英语和波兰语进行了验证。结果显示，使用对比损失和 NLI 数据进行微调可以提高模型在不同任务和语言方面的性能，并且有潜力改善单语和多语模型。最后，研究了嵌入向量的一致性和对齐性，以解释基于 NLI 的微调在域外应用中的效果。

Aug, 2023