Jun, 2023

BoardgameQA: 自然语言推理与矛盾信息处理数据集

PDF
TL;DR该论文探讨了利用自然语言处理技术进行非结构化文本的自动推理。研究表明，语言模型具有复杂的推理能力。然而，当推理真实世界中不一致或矛盾的信息时，需要采用一种策略来解决这种冲突。采用对信息来源的偏好以及执行更高偏好的源的方式来解决冲突是一种普遍适用的方法。该论文提出了 “BoardgameQA” 数据集来测试语言模型的推理能力，结果表明当前最新技术的语言模型在处理相互矛盾的信息时存在显著差距。
automated reasoningnatural language processinglanguage modelsdefeasible reasoningboardgameqa
发现论文，激发创造
  • 利用矛盾来改进问答系统

    使用自然语言推理技术和矛盾验证策略来提高问题回答系统的准确性和可靠性在生物医学领域具有重要意义。研究表明使用矛盾验证模型可以在问答选择任务方面取得良好的表现，并且对于解释模型智能性和提高系统可靠性具有潜在意义。

    Sep, 2022

  • 作为间接推理器的大型语言模型：自动推理的逆否和矛盾

    本文提出了一种新的间接推理（IR）方法，利用逆否命题和矛盾的逻辑来解决事实推理和数学证明等 IR 任务，以加强大型语言模型（LLMs）的推理能力。与传统 DR 方法相比，我们的 IR 方法通过对话模板触发 LLMs 进行基于矛盾推论的 IR 过程来提高推理准确性，并且与 IR 或 DR 单独使用相比，IR 和 DR 结合的方法表现出更高的效果。

    Feb, 2024

  • IfQA: 面向反事实前提的开放领域问答数据集

    本文介绍了第一个 counterfactual open-domain question-answering（QA）数据集（IfQA），并通过在该数据集上进行实证分析证明了如果就文本假设进行推理和检索是一项具有挑战性的任务。

    May, 2023

  • LogiQA：面向机器阅读理解的逻辑推理挑战数据集

    通过构建名为 LogiQA 的全面数据集，了解了人类逻辑推理能力方面的基本能力在机器阅读中如何得到充分研究。结果表明，最先进的神经模型远不及人类的水平。其数据集也可作为深度学习 NLP 环境下重新研究逻辑 AI 的基准。

    Jul, 2020

  • 解开纠纷：在大型语言模型中交织相互冲突的知识和推理技能

    利用新数据集 KNOT 对大型语言模型进行与知识冲突处理相关的能力检验，将冲突知识的推理划分为三个层次，即直接提取、显式推理和隐式推理，并通过详细实验建立了利用冲突知识的指导原则。

    Apr, 2024

  • WikiContradict: 对维基百科上真实知识冲突的 LLM 评估基准

    通过对大规模语言模型（LLMs）使用检索增强生成（RAG）来评估知识冲突的处理方法，特别是针对来源相同且具有相等可信度的检索到的段落，研究发现所有模型在提供包含相互矛盾的事实的两个段落时，都难以生成准确反映冲突性质的答案，尤其是对于需要推理的隐含冲突。为了促进未来的研究，通过引入一个自动化模型，该模型使用一个开源强大的语言模型估计 LLM 的性能，实现了 0.8 的 F 分数，并在所有 WikiContradict 实例上评估了来自七个 LLM 的 1500 多个答案。

    Jun, 2024

  • 教授语言模型通过验证的引文支持答案

    通过强化学习从人类偏好中得出支持性证据，训练生成回答并支持其声称的 “开放式书目” QA 模型。该模型能够从搜索引擎中找到的多个文档或单个用户提供的文档中提取支持证据。通过在 NaturalQuestions 和 ELI5 数据集的子集中进行的人类评估，该模型的响应在这两个子集中 80％和 67％的时间内达到高质量水平，但并非所有声称都被支持的证据是正确的。

    Mar, 2022

  • 大规模语言模型对于超领域逻辑推理任务的系统评估

    大型语言模型在逻辑推理任务中的泛化性和鲁棒性评估及改善的研究。

    Oct, 2023

  • 大型语言模型的冗余信息推理能力分析

    最近在大规模语言模型 (LLMs) 的研究中取得了令人印象深刻的进展，尤其在推理方面，对于实现人工智能 (AGI) 至关重要。然而，常用的测试基准可能无法完全展现这些模型在现实场景中的推理能力。为了解决这一问题，引入了一种新形式的问答任务，称为 Reasoning with Redundant Information Provided (RRIP)。该研究设计了改进版本的小学数学 8K (GSM-8K) 数据集，它有几个变体，关注冗余信息的不同属性。在传统的问答任务和 RRIP 任务上，评估了两个流行的 LLMs，分别是 LlaMA2-13B-chat 和生成预训练转换器 3.5（GPT-3.5）。研究结果表明，尽管这些模型在标准问答基准中取得了一定的成功，但它们在 RRIP 任务上的表现明显下降。该研究不仅突出了当前 LLMs 在处理冗余信息方面的局限性，还建议未来训练这些模型时应将冗余信息纳入训练数据，以提高在 RRIP 任务上的性能。

    Oct, 2023

  • 利用答案选择之间的自然语言关系进行机器理解

    本文介绍了一种通过利用自然语言关联性来提高机器的阅读理解性能的方法：使用独立的问答系统进行问答任务和自然语言推理系统对选择对之间的关系进行分析，然后通过基于整数线性规划的关系框架进行推理，提高独立问答系统的决策能力。此外，本方法还提出了一个多任务学习模型。

    Dec, 2020