基于事实的逻辑推理
本研究提出了一个综合性基准来研究模型在复杂的现实场景中的逻辑推理能力。我们设计了细粒度的逻辑推理解释形式,并在实验中评估了当前最佳模型在这种新的解释形式上的表现,结果表明即使在巨型模型的帮助下,生成推理图仍然是一个具有挑战性的任务。
Oct, 2022
本文综述了一种新的逻辑推理范式,它使用自然语言作为知识表示(并使用预训练语言模型作为推理器),包括逻辑推理的哲学定义和分类、新范式的优势、基准和方法、新范式的挑战、未来的可取任务和方法以及与相关 NLP 领域的关系。这种新范式具有很好的前景,因为它不仅可以缓解正式表示的许多挑战,而且还对端到端的神经方法具有优势。
Mar, 2023
通过对最新进展的简要回顾,本文试图了解大型语言模型在逻辑推理方面的能力,包括逻辑推理数据集、任务以及利用大型语言模型进行推理的方法。通过构建基准测试集 LogiGLUE,并训练一个经过指令微调的语言模型 LogiT5,研究了单任务训练、多任务训练以及思维链知识蒸馏微调技术在不同逻辑推理类别上的表现,旨在揭示大型语言模型在逻辑推理中的能力和潜在路径,为该关键领域的高级和精细化发展铺平道路。
Oct, 2023
本研究提出了一种基于全面图网络的逻辑推理方法,在上下文和单词层面处理上下文,通过层次交互机制建模节点级关系和类型级关系,以提高阅读理解系统的解释能力和理解复杂逻辑关系的能力。
Jun, 2023
本文提出了逻辑结构约束建模的方法,通过引入针对命题单元的蕴涵或矛盾关系而非实体关系的逻辑结构来解决基于逻辑推理的问题回答任务,使用基于语篇的图网络实现了逻辑图构建和逻辑特征学习,并将基础特征与高级逻辑特征相结合,实现文本编码器的答案预测,实验结果证明该方法在三个文本逻辑推理数据集上效果显著,并且具有未见过逻辑文本的普适性。
Jul, 2022
我们提出了一个新的概念化框架,迫使模型在抽象问题上进行概念推理并在可验证的符号空间中生成解决方案,使用这个框架作为分析工具,我们发现现有的大型语言模型在概念推理方面存在不足,并通过引入可信的归纳信号来改善模型的概念推理性能,实验证明我们提出的技术使模型的概念推理性能提高了 8% 至 11%,实现了一个更强大的推理系统,更少地依赖归纳偏见。
Mar, 2024
本研究采用最新的深度神经网络训练方法,成功开发出了一种模型,可以学会在基本本体论推理的形式下有效地进行逻辑推理,进而可以应用于许多现实世界中的问题,并且在各项实验中表现出高度准确和生物学上的可行性。
Aug, 2018
最近发展的大型语言模型 (LLMs) 在各种语言理解任务上表现出色,但它们真正能够对自然语言进行 “推理” 吗?本文综合评估了 LLMS 在涵盖命题逻辑、一阶逻辑和非单调逻辑的 25 种不同推理模式上的逻辑推理能力,并引入了 LogicBench,一个关注单个推理规则使用的自然语言问答数据集,通过使用一系列的连贯思维提示与 GPT-4、ChatGPT、Gemini、Llama-2 和 Mistral 等多个 LLMS 进行详细分析。实验结果表明,现有的 LLMS 在 LogicBench 上表现不佳,尤其在涉及复杂推理和否定的情况下遇到困难,并有时忽视推理所需的上下文信息以得出正确结论。我们认为我们的工作和发现将有助于未来评估和提升 LLMS 的逻辑推理能力。
Apr, 2024
使用概率逻辑编程推演引入逻辑事实,结合基于检索的语言模型和逻辑推理的知识生成响应的新方法,在任务导向的对话系统中提高了回应的准确性和流畅性。
Oct, 2023