EMNLPOct, 2023

从启发式到分析：认知动机的一致物理常识推理策略

PDF
TL;DR预训练语言模型（PLMs）通过启发式分析和分析性推理链条的策略，改善了模型决策的连贯性，并且在物理常识推理方面取得了最先进的结果，进一步表明人类类推理策略可以有效提高 PLM 的决策连贯性和可靠性。
发现论文，激发创造
  • 通过合作推理引发的语言模型解决数学文字问题

    本文提出了合作推理的预训练语言模型 (CoRe)，以类人的推理框架，即系统 1 为生成器，系统 2 为验证器的方式解决数学单词问题，通过几个数学推理数据集的评估，相比于最佳基线方法，取得了相当的改进。

    Oct, 2022

  • 使用预训练语言模型进行上下文类比推理

    通过将人类语言与类比制造联系起来，我们使用大规模预训练的语言模型（PLMs）来支持人工智能系统的类比能力，将感知特征转换成语言形式，PLMs 展现出惊人的零 - shot 关系推理能力，并在 RPM 测试中接近监督的以视觉为基础的方法。

    May, 2023

  • 预先训练的语言模型是否具备演绎推理能力？

    本文对预训练语言模型的可学习演绎性能进行了全面评估，发现该模型存在推理规则泛化不足、对表面形式的修改表现不稳定、在推理过程中出现遗忘现象等问题，说明预训练语言模型对于演绎推理的表现仍不可靠，远未达到人类的推理能力。

    Oct, 2022

  • 提供常识推理任务的对比解释

    本研究证明了在使用预训练语言模型进行通识推理任务时，使用对比性的解释来完成解释提示可以提高性能并获得更准确的结果，同时提高人类可理解性。

    Jun, 2021

  • 分层推理用于直觉物理：向可验证的常识语言理解迈进

    本文介绍了 Tiered Reasoning for Intuitive Physics（TRIP）的概念，这是一种用于解决机器语言理解和推理方面的通用常识推理数据集。作者指出，尽管大型预训练语言模型可以在终端任务上取得高端性能，但是它们在为其预测提供有效的支持证据方面表现不佳。作者提出的 TRIP 数据集和基线结果将有助于推动常识推理的可验证评估，并促进未来开发更好的语言理解和推理模型的研究。

    Sep, 2021

  • 从启发法到理性：语言模型推理的动态启发法使用

    语言模型在多步推理中在早期阶段更依赖于启发式方法，包括词汇重叠，但随着接近最终答案，启发式方法的依赖程度减少，语言模型动态结合启发式和逻辑策略进行多步推理任务。

    Jun, 2024

  • 后语义思维：从大规模语言模型中提炼推理能力的强大策略

    通过链式思维微调策略，我们提出了一种强大的后语义思考策略 (Post-Semantic-Thinking, PST)，旨在通过在表达方式上不受限制地生成答案，使得小型学生模型能够更好地理解基于语义推理的逻辑。广泛的实验在 12 个推理任务上证明了 PST 的有效性。

    Apr, 2024

  • 语言模型是贪心推理器：对思维链的系统形式分析

    本文通过介绍一种新的合成问答数据集 PrOntoQA，旨在通过对 LLMs 的系统探索，该数据集是通过使用一阶逻辑表示的合成世界模型生成的。作者对 InstructGPT 和 GPT-3 进行了分析，表明 LLMs 能够进行正确的逻辑推理，但在方案规划方面存在困​​难。

    Oct, 2022

  • 通过轨迹收集和过程奖励合成学习基于规划的推理

    通过直接优化收集到的经验轨迹，我们提出一个基于规划的推理学习框架，以解决大型语言模型在复杂推理任务中出现的问题，并通过具体的过程奖励排名来提高生成推理过程的可靠性和可信度。

    Feb, 2024

  • 预训练语言模型中认知智能的发展

    经验表明，大型预训练语言模型的新认知能力使其成为认知科学理论的候选模型。本研究通过心理测量学测试选择四组任务，对十个热门预训练语言模型进行评估，发现无论模型大小，PLMs 的训练过程在人类认知发展的某个窗口期内表现出最高程度的一致性。在该窗口期之前，训练为模型提供了基础结构，使其能够迅速从经验中学习；而在该窗口期之后，训练似乎更多地用于工程目标而非科学目标。

    Jul, 2024