May, 2024

探索大型语言模型在数学推理中的组合不足

PDF
TL;DR大型语言模型在数学推理方面研究了系统组合性，通过引入精心设计的逻辑漏洞陷阱构建了一个新的数据集 MathTrap，发现虽然大型语言模型具备所需知识的两个组成部分，但它们不会自发地组合起来处理这些新问题，通过自然语言提示、少示范演示和微调等多种方法可以减轻这种缺陷，但系统的组合性仍然是大型语言模型面临的一个未解决挑战。
发现论文，激发创造
  • 大型语言模型在数学推理方面的进展与挑战

    数学推理是评估人类智能基本认知能力的基石。该研究调查了大型语言模型在解决数学问题方面的真正进展、障碍、数学问题类型和相关数据集、解决数学问题的 LLM 技术范围、影响 LLMs 解决数学问题的因素和问题，并提供了这一快速发展领域中的现状、成就和未来挑战的整体观点。

    Jan, 2024

  • 大型语言模型在组合性关系推理中的限制探索

    通过包含 1,500 个测试案例的评估，我们在英语中全面评估了大型语言模型（LLMs）在推理组合关系方面的能力，旨在了解 LLMs 处理不同语言环境下的组合关系推理的鲁棒性和适应性。

    Mar, 2024

  • 衡量和缩小语言模型中的组合性差距

    探究了语言模型在对复合性推理任务中的表现，提出了评估模型的整体解决方案的组成性差异比率，并发现随着模型大小的增加，其单次跳问题回答的性能比多次跳问题更快提高，而提供良好的渐进提示可以缩小这种差距，其中 self-ask 方法最近进一步提高了精度。

    Oct, 2022

  • 从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

    人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

    May, 2024

  • 朝着真正无需零样本的组合视觉推理：以 LLMs 为程序员

    通过引入空间和时间抽象例程以及利用少量标记示例自动生成上下文例子，我们提出了一个框架来消除人为构建的上下文例子，从而解决了可视推理中的一些问题并提升了性能。

    Jan, 2024

  • LLM 能否找到绿色圆圈？构成泛化的调查和人类引导工具操作

    我们通过对现有 ICL 方法的实证调查发现其在复合泛化问题上表现不佳，因此我们提出了一种人工引导的工具操作框架 (HTM)，它通过生成子问题的工具并整合多个工具来提高工具的创建和使用效果。实验证明，我们的方法在两个复合泛化基准测试上取得了最先进的性能，并在最具挑战性的测试中优于现有方法 70%。

    Dec, 2023

  • 神经网络求解数学问题中出现了组合处理

    本文探讨了人类学习机制中的组合性问题，并扩展了先前针对自然语言的神经网络研究到数学推理领域。研究发现，神经网络不仅能够学习到训练数据中的结构关系，而且能够将这些知识用于指导复合意义的组合。

    May, 2021

  • 大型语言模型的组合语义解析

    通过逐步提示的基于句法分析的分解，本研究发现了更多语义分析任务中的挑战。这一最优方法使我们在 CFQ 上取得了最新的技术成果，同时只需要传统方法所需训练数据的 1％。由于我们方法的普适性，我们期望类似的方法将在知识密集型应用中取得新的成果。

    Sep, 2022

  • 评估大型语言模型的推理能力

    大型语言模型（LLMs）的发展促使人们对其推理和问题解决能力产生了更大的兴趣。本研究调查了几种 LLMs 是否能够解决认知科学文献中一种经典类型的演绎推理问题。研究发现，这些被测试的 LLMs 在传统形式上解决这些问题的能力有限。我们进行了后续实验，探究了更改展示格式和内容是否能改善模型性能。尽管我们发现了条件之间的绩效差异，但总体性能并未提高。此外，我们还发现性能与展示格式和内容以出人意料的方式相互作用，与人类表现有所不同。总的来说，我们的结果表明 LLMs 具有独特的推理偏见，其只能部分预测人类的推理表现。

    Sep, 2023

  • 大型语言模型逻辑推理的教学学习

    通过对大型语言模型的研究，我们发现它们在逻辑推理方面存在缺陷，导致其在任务解决中产生反事实的答案。为了解决这个问题，我们提出了多种策略，赋予大型语言模型逻辑推理能力，从而使其能够在不同场景中生成更符合逻辑的答案。我们还通过构建一个综合数据集 (LMM-LR) 对该方法进行了评估和预训练。在不同任务上进行了广泛的定量和定性分析，验证了通过逻辑训练大型语言模型的有效性和必要性，并为将来的工作提供了启示。

    Oct, 2023