通过产生多个抽象假设并将其转化为具体的 Python 程序,进而为大型语言模型提高归纳推理能力,并利用自动生成的摘要或人工筛选的候选集来过滤生成的程序,从而在归纳推理任务中实现更高的准确性。
Sep, 2023
机器学习模型,特别是语言模型,被应用于需要推理的各种任务。我们探索了 transformers 将自然语言中表达规则的句子翻译成逻辑规则的能力,以便进行可信的和受控制的逻辑推理。通过使用 DKET 数据集和基于 Atomic 知识库的语言到逻辑翻译数据集进行实验。
Nov, 2023
使用迭代性的假设修正技术,通过三步骤的提议、选择和修正来研究语言模型在归纳推理任务中的能力,并发现其在产生假设和筛选规则方面表现出色,但在识别可信规则和应用提议规则方面存在差距,揭示了语言模型在归纳推理任务中的潜力和局限。
Oct, 2023
本文综述了一种新的逻辑推理范式,它使用自然语言作为知识表示(并使用预训练语言模型作为推理器),包括逻辑推理的哲学定义和分类、新范式的优势、基准和方法、新范式的挑战、未来的可取任务和方法以及与相关 NLP 领域的关系。这种新范式具有很好的前景,因为它不仅可以缓解正式表示的许多挑战,而且还对端到端的神经方法具有优势。
Mar, 2023
该研究通过对大型语言模型在命题逻辑问题上的响应进行细致评估,利用认知心理学原理探讨了模型使用的推理策略。结果发现,大型语言模型展示出类似于人类的推理模式,包括 “解释跟踪” 和 “链式构建” 等策略。此外,该研究表明模型的架构和规模显著影响其首选的推理方法,较先进的模型更倾向于频繁使用这些策略。模型的准确性并不必然反映其推理过程的有效性,这一区别强调了该领域需要更为精细的评估程序。
Feb, 2024
通过研究不同类型的推理方式,以及对语言模型进行的指令跟随、少样本提示和指令推断实验,我们发现即使在一些最大的语言模型中,推理的方式仍然是非系统性的,不同的学习机制可能被看似相似的提示程序调用。
Apr, 2024
我们研究了一种基于合成语料库的方法来增强语言模型(LMs)的逻辑演绎推理能力。我们采用了基于形式逻辑理论的一组规则作为推论语料库,从而获得更具推广能力的演绎推理能力。此外,我们还确定了推论语料库对 LMs 可以提升的推理能力方面以及对其无法提升的方面,并讨论了应用推论语料库或其他方法在每个方面的未来发展方向。
Aug, 2023
大型语言模型在抽象推理任务上表现优秀,但与人类推理问题存在相似的缺陷,同时受到人类知识和信仰的影响,使用可信的现实情境方案进行推理可以提高推理质量,这种关联性帮助我们了解认知效应和语言模型表现的因素。
Jul, 2022
语言模型在逻辑推理中能够模仿人类偏见,并在某些情况下克服它们。
LoGiPT 是一种新颖的语言模型,通过直接模拟逻辑求解器的推理过程并严格遵守求解器的语法规则,绕过分析错误,并在竞争的语言模型上表现出优异的性能。