Feb, 2024

利用非正式逻辑增强系统化分解的自然语言推理

PDF
TL;DR我们通过构建和评估直观的基于证明的文本蕴涵树，消除对脆弱形式逻辑的依赖，提出了一种一致且理论基础的方法来注释解构蕴涵的数据集，我们发现生成的 RDTE 数据集在内部一致性上比以前的数据集高出 9％，并且通过在现代神经符号推理引擎中使用 RDTE 导向的蕴涵分类器进行训练，显著提高了文本推理的结果（准确性和证明质量），说明了这一进展在实践中的益处。
language modelsstructured reasoningtextual entailmentdecompositional entailmentneuro-symbolic engines
发现论文，激发创造
  • 自然语言句子之间蕴含和矛盾关系的识别：一种神经符号方法

    提出了一个基于将文本转换为抽象意义表示（AMR）图的新型流水线，通过预训练的 AMR 解析器将 AMR 图转换为命题逻辑，并使用 SAT 求解器进行自动推理，引入了松弛方法以允许替换或遗忘某些命题。实验结果表明该流水线在四个 Recognizing Textual Entailment 数据集上表现良好。

    May, 2024

  • 通过语句组合搜索进行自然语言推理

    本文提出了一种基于自然语言的演绎推理系统，通过将任务分解为逐步协调的步骤，并由搜索程序生成中间结论的树，可以成功地证明真实的语句并拒绝虚假的语句。

    Jan, 2022

  • 学会分解：基于可比文本的假想问题分解

    本文研究大规模中介设备的预训练，在使用来自可比文本，特别是大规模平行新闻的远程监督的情况下将显式分解建模应用于自然语言理解系统。作者称使用这种中间预训练可以更容易地开发强大的显式分解模型。例如，该模型在语义分析方面取得了 20％至 30％的改进，并用于构建名为 DecompEntail 的新型显式分解问答系统。

    Oct, 2022

  • 结构化注意力与合成的文本蕴含

    本文研究了使用子树级别的 attention 模型进行文本蕴含任务，相比基于硬对齐和逻辑的传统模型具有更强鲁棒性和更高准确度，并且扩展 attention 模型到树节点可以更好地利用语法和递归信息提高准确度。

    Jan, 2017

  • 一项文本蕴含识别的自然语言处理评估调查

    本论文介绍了一种用于比较不同 NLP 系统语义理解能力的统一性评估框架 ——Recognizing Textual Entailment (RTE)，并提供了评估 NLP 系统推理能力的不同方法的概述，重点介绍了 RTE 数据集的特点及其最新研究进展，提出了利用注重特定语言现象的新引入的 RTE 数据集来评估 NLP 系统的建议。

    Oct, 2020

  • 重新审视用于基于 NLI 的摘要事实评分的文本分解方法

    本文系统地比较了将事实性分值应用于分解的不同粒度，并表明不是所有数据集都适用于将上下文信息集成到模型中的方法。

    Nov, 2022

  • 迭代分解：通过监督推理过程提高科学问答

    通过使用透明的中间状态进行复合会带来可解释性和安全性的好处，但可能需要工作流程支持和基础设施来保持竞争力，为此我们描述了一种人在循环中使用的对于开发和完善复合 LM 程序的工作流程，并开发了一个可视化 LM 程序执行跟踪的开源工具 - ICE，通过三个真实世界的案例将这一工作流程应用于 LM 程序，并比非组合基线提高了 LM 程序的准确性 - 描述随机对照试验中使用的安慰剂（25％到 65％），评估参与者遵守医疗干预（53％到 70％）以及在 Qasper 数据集上回答 NLP 问题（38％到 69％）。

    Jan, 2023

  • 视觉 - 文本蕴涵的多模态逻辑推理系统

    该研究论文通过逻辑表征作为文本和图像的统一意义表征，并提出了一种无监督的多模态逻辑推断系统，可有效证明它们之间的推理关系，结合语义分析和定理证明，系统可以处理语义复杂的视觉 - 文本推断。

    Jun, 2019

  • 强化学习辅助的话语标记网络用于自然语言推理

    本文针对自然语言处理中最重要的问题之一 —— 自然语言推理（NLI），提出了一种从重要语篇标记中转移知识以提高 NLI 模型质量的方法，并使用强化学习优化了新的目标函数，通过 NLI 数据集的属性定义得出奖励，从而充分利用标签信息，实验结果显示，我们的方法在几个大规模数据集上取得了最先进的表现。

    Jul, 2019

  • 基于时间线的句子分解与上下文学习的时间事实提取

    本文主要研究了从自然语言文本中提取时间事实的方法，提出了基于时间轴的句子分解策略，利用大型语言模型进行上下文学习，以确保对各种事实相关的时间轴有更细粒度的理解。同时，介绍了一种将大型语言模型的分解能力与传统小型预训练语言模型的微调相结合的方法（TSDRE），并构建了一个复杂的时间事实提取数据集进行评估，实验结果在 HyperRED-Temporal 和 ComplexTRED 数据集上取得了最先进的结果。

    May, 2024