Jun, 2024

思维抽象使语言模型智能推理能力更强

PDF
TL;DR提出了一种称为 “思维抽象” 的新型结构化推理格式来实现具有抽象能力的语言模型，通过引入 348k 个高质量样本的 AoT Collection 进行模型微调，并在 Big-Bench Hard 数据集上进行广泛评估，实验证明与 Step-by-Step Chain-of-Thought 方法相比，与 AoT 推理格式对齐的模型在许多推理任务上表现出更好的性能。
abstract reasoningabstraction-of-thoughtreasoning formataot collectionlanguage models
发现论文，激发创造
  • ThoughtSource：大型语言模型推理数据的中心枢纽

    ThoughtSource 是一个 meta-dataset 和软件库，用于处理语言模型在复杂推理方面的局限性，旨在提高未来人工智能系统的质量，通过促进 CoT 的定性理解，实现经验评估并提供培训数据。

    Jan, 2023

  • 大型语言模型中的思维过程图推理：超越思维链的有效方法

    使用 T5 预训练模型实现了图形思维推理模型，提高了基于文本推理任务 GSM8K 的性能和面向多模态的推理任务 ScienceQA 的准确率，通过较少的骨干模型参数与基于 700M 参数的 Multimodal-CoT 模型获得相当的结果，探索了非线性思考的建模方法。

    May, 2023

  • 思维启发计划：将计算与推理相分离用于数学推理任务

    用自然语言生成理解模型将数值推理任务中的计算和推理过程分离成程序，使得计算过程集中于电脑中，从而提高了数学问题和金融问题的解决性能。

    Nov, 2022

  • 关于 LLMs 的推理和规划经验复杂性的研究

    通过进行实验案例研究并将结果与机器学习中的样本和计算复杂性联系起来，我们发现如果问题可以分解成一系列推理步骤，并且学习预测下一步具有较低的样本和计算复杂性，明确列出推理链与预测下一步所需的所有必要信息可能会改善性能，相反，对于计算复杂的问题，采用树状推理可能比尝试形成简短的推理链更好地产生推理结果。

    Apr, 2024

  • 思维之树：利用大型语言模型进行有意识的问题解决

    通过 Tree of Thoughts (ToT) 框架，可以弥补语言模型在考虑多种不同推理路径时的局限性，进而提高语言模型在需要问题解决的任务中的表现。实验表明，使用 ToT 的方法大大提高了语言模型在三个需要非平凡计划或搜索的任务的解决能力：24 点游戏、创意写作和小型填字游戏。

    May, 2023

  • 语言模型中的概念和公正推理

    我们提出了一个新的概念化框架，迫使模型在抽象问题上进行概念推理并在可验证的符号空间中生成解决方案，使用这个框架作为分析工具，我们发现现有的大型语言模型在概念推理方面存在不足，并通过引入可信的归纳信号来改善模型的概念推理性能，实验证明我们提出的技术使模型的概念推理性能提高了 8% 至 11%，实现了一个更强大的推理系统，更少地依赖归纳偏见。

    Mar, 2024

  • 语言模型对推理的人类内容效应展示

    大型语言模型在抽象推理任务上表现优秀，但与人类推理问题存在相似的缺陷，同时受到人类知识和信仰的影响，使用可信的现实情境方案进行推理可以提高推理质量，这种关联性帮助我们了解认知效应和语言模型表现的因素。

    Jul, 2022

  • 语言模型中的多模态思维链推理

    该研究提出了一种将语言与视觉信息相结合的理由生成和答案推断的多模态 - CoT 框架，使得答案推断可以更好地利用基于多模态信息的生成的理由，并取得了比先前最先进的 LLM（GPT-3.5）高 16 个百分点（75.17％-> 91.68％准确度）的性能，在 ScienceQA 基准测试中甚至超过了人类的表现。

    Feb, 2023

  • 通过思维树增强跨语言多步推理

    本研究通过一种自洽的跨语言提示机制，提出了一种跨语言多步推理方法，可以在不同语言中实现多步推理路径，从而达到解决复杂推理任务的目的，并在实验评估中表现出比现有提示方法更优的性能。

    Nov, 2023

  • 通过逻辑增强大型语言模型中的零射连续推理

    利用逻辑链思维 (LogiCoT) 的神经符号框架，大规模语言模型提供了更强的零编码链式思维推理能力。实验证明了逻辑增强的推理范式在算术、常识、符号、因果推断和社会问题等多个领域的语言任务中的有效性。

    Sep, 2023