Feb, 2024

基于大语言模型的逐步自洽数学推理

PDF
TL;DR使用大型语言模型解决复杂的数学推理任务存在挑战，本文提出了一种名为 SSC-CoT 的算法，通过策略选择中间步骤并查询相关领域知识图谱，有效解决了多步推理中的关键问题。作者在 TriMaster100 数据集以及 MATH level 5 数据集上验证了 SSC-CoT 的有效性，取得了显著的性能提升。
large language modelsmathematical reasoningstepwise self-consistent chain-of-thoughttrimaster100 datasetcomplex trigonometry problems
发现论文，激发创造
  • 通过思维树增强跨语言多步推理

    本研究通过一种自洽的跨语言提示机制，提出了一种跨语言多步推理方法，可以在不同语言中实现多步推理路径，从而达到解决复杂推理任务的目的，并在实验评估中表现出比现有提示方法更优的性能。

    Nov, 2023

  • 通过符号化推理保持逻辑的准确性

    提出了一种基于大型语言模型的新型符号化思维链 (SymbCoT) 框架，通过将符号表达和逻辑规则与语言模型集成，以增强其逻辑推理能力，并在 5 个标准数据集上通过深入评估展示了显著的性能提升。

    May, 2024

  • 忠实的串联思考推理

    提出 Faithful CoT 框架以实现准确性和真实性的协同作用，通过将推理任务分解为翻译和问题求解两个阶段，使用 LM 和确定性求解器分别实现。在 10 个推理数据集上进行比较并展示 Faithful CoT 框架的优越性。

    Jan, 2023

  • mCoT: 多语言指导调整以提升语言模型的推理一致性

    通过多语言推理一致性研究，我们构建了第一个大规模的多语言数学推理数据集 mCoT-MATH，然后引入多语言 CoT 指令调节以提高模型的推理能力和一致性。我们的 7B 参数模型 mCoT 在各种语言上展现出惊人的一致性，并且在性能上优于或与更大规模的闭源和开源模型相媲美。

    Jun, 2024

  • 关于 LLMs 的推理和规划经验复杂性的研究

    通过进行实验案例研究并将结果与机器学习中的样本和计算复杂性联系起来，我们发现如果问题可以分解成一系列推理步骤，并且学习预测下一步具有较低的样本和计算复杂性，明确列出推理链与预测下一步所需的所有必要信息可能会改善性能，相反，对于计算复杂的问题，采用树状推理可能比尝试形成简短的推理链更好地产生推理结果。

    Apr, 2024

  • 语言模型中的多模态思维链推理

    该研究提出了一种将语言与视觉信息相结合的理由生成和答案推断的多模态 - CoT 框架，使得答案推断可以更好地利用基于多模态信息的生成的理由，并取得了比先前最先进的 LLM（GPT-3.5）高 16 个百分点（75.17％-> 91.68％准确度）的性能，在 ScienceQA 基准测试中甚至超过了人类的表现。

    Feb, 2023

  • 使用选择性过滤减轻具有误导性的连续思维推理

    通过选择性过滤推理程序（SelF-Reasoner）提高了大型语言模型的链式思考推理能力，进而改进了基于 T5 模型的科学问题、Bluetooth 问题和最后一个字母问题的解答质量。

    Mar, 2024

  • 从算术任务中学习多步推理

    本研究探究如何将较小的语言模型与多步推理能力相结合，通过在合成数据集 MsAT 上进行持续的预训练，我们的实验证明了该方法对增强语言模型的数学推理能力的有效性。

    Jun, 2023

  • 通过逻辑增强大型语言模型中的零射连续推理

    利用逻辑链思维 (LogiCoT) 的神经符号框架，大规模语言模型提供了更强的零编码链式思维推理能力。实验证明了逻辑增强的推理范式在算术、常识、符号、因果推断和社会问题等多个领域的语言任务中的有效性。

    Sep, 2023

  • 链式推理演绎验证

    我们提出了一个自然语言为基础的演绎推理格式，使语言模型能够生成明确的推理步骤，进一步增强推理步骤的严格性和可信性，并在此过程中提高复杂推理任务的正确性。

    Jun, 2023