Jun, 2024

利用 NLI 探索事实蕴含关系：新闻媒体研究

PDF
TL;DR探索事实性与自然语言推理之间的关系，并引入 FactRel 注释方案来模拟事实性推理，分析表明，事实性支持对和事实性削弱对的大部分情况不构成自然语言推理的蕴含或矛盾关系，这表明事实关系更适合分析媒体话语；在新数据集上进行了对比分类模型的实验，并发现在某些情况下，基于注释数据集使用 GPT-4 生成合成数据可以提高性能，而使用 GPT-4 进行少样本学习的结果与在标注数据集上训练的中型语言模型（DeBERTa）相当强大，这些结果表明此任务在世界知识和高级推理能力上的基本依赖关系。
factualitynatural language inferenceannotation schememedia discoursegpt-4
发现论文，激发创造
  • 文本摘要模型的事实准确性对抗 NLI

    应用对抗 NLI 数据集来训练 NLI 模型，我们发现 Transformer 模型在摘要生成方面有较高的准确性。

    May, 2020

  • 事实或有偏见？预测新闻句子级别的真实性和偏见

    本篇论文是一项关于新闻文章句子级别的事实性和偏见研究，通过手动标注数据集并 fine-tuning BERT 模型的方法，我们得出了不同媒体和领域新闻报道中存在的偏见和事实的表现情况。

    Jan, 2023

  • 保持中立：使用自然语言推断改进生成

    本研究探讨了把自然语言推理（NLI）整合到文本生成管道中的方法，使用预训练的 NLI 模型评估生成的句子是否与提示和前文相符、矛盾或中立。最终结果表明，NLI 策略最大化中立类提高了生成文本的质量，而不是其他两种策略，无论参数值如何，该策略都比普通生成的文本质量更高。

    Feb, 2023

  • 探究文本蕴涵数据集中的偏见

    本研究分析了 SNLI 和 MultiNLI 数据集中逻辑关系的数据偏差程度及其影响，并提出一种简单的方法来降低数据集中的数据偏差。我们发现仅对 SNLI 数据集中的假设进行分类，就能产生 64% 的准确率。

    Jun, 2019

  • 神经自然语言推断模型部分嵌入了词汇蕴含和否定理论

    本研究通过四种方法评估自然语言推理 (NLI) 模型是否可以学习词汇蕴涵和否定之间的组合交互作用，并提出了一个新的自然数据集 MoNLI，其中集中了词汇蕴涵和否定的相关内容，通过对 MoNLI 的 Fine-tuning 得到的模型相较于通用 NLI 数据集拥有更好的效果，同时对当前表现最佳的 BERT 模型进行探究表明其至少部分嵌入了词汇蕴涵和否定的算法级别理论。

    Apr, 2020

  • 依存层面蕴涵在生成中的事实性评估

    本文提出了一种新的蕴含形式，即在依赖弧的级别上对其进行分解，以便更好地检测文本生成模型中的事实不一致性。实验证明，基于依赖弧的蕴含模型可以更好地识别重新表述和摘要中的事实不一致性，并在定位错误部分方面具有优势。

    Oct, 2020

  • 针对事实性的语言模型微调

    通过利用外部知识库的一致性或大模型的置信度，以及直接优化算法，我们在不需要人工标注的情况下，对语言模型进行微调，明显提高了生成候选项的正确性，并比对准确性进行了目标定向的 RLHF 和解码策略有显著改善。

    Nov, 2023

  • 跨语言推理的基准线和测试数据

    本文提出将 SNLI 风格自然语言推断的研究推向多语言评估，为阿拉伯语，法语，西班牙语和俄语提供测试数据，并使用跨语言词嵌入和机器翻译构建基线系统，最终系统的平均准确率超过了 75％，并着重实现了多语言推断的进一步研究。

    Apr, 2017

  • NLI4CT: 临床试验报告的多证据自然语言推理

    本篇论文介绍了一个新的 NLI4CT 资源，包括两个主要任务：确定自然语言陈述和 CTR 之间的推理关系以及检索支持事实以证明预测关系。该资源暴露了现有 NLI 模型的局限性，为 CTR 推理提供了基础，大大推进了 CTR 的个性化医疗领域的研究。

    May, 2023

  • 纠缠关系：利用 NLI 和元分析增强生物医学关系提取

    MetaEntail-RE 是一种基于自然语言推理原理的关系抽取增强方法，通过引入元类分析、可行性假设过滤和基于群体的预测选择等关键改进，取得了显著的性能提升，并且在生物医学和常规领域均具有广泛应用价值。

    May, 2024