Oct, 2022

通过合作推理引发的语言模型解决数学文字问题

PDF
TL;DR本文提出了合作推理的预训练语言模型 (CoRe)，以类人的推理框架，即系统 1 为生成器，系统 2 为验证器的方式解决数学单词问题，通过几个数学推理数据集的评估，相比于最佳基线方法，取得了相当的改进。
pre-trained language modelsmath word problemcooperative reasoningreasoning architecturestate-of-the-art methods
发现论文，激发创造
  • 对话式语言模型的推理即世界模型的规划

    本文介绍了基于 Monte Carlo 搜索算法的新型大语言模型推理框架 RAP，利用其上的世界模型进行计划生成和复杂推理。从多个任务测试中，RAP 在效率和准确率上都超过了 Chain-of-Thought 等现有方案。

    May, 2023

  • 大型语言模型中的符号数学问题推理

    该论文研究了大型语言模型在数学问题推理方面的能力，特别关注符号推理在数值问题中的准确性，并通过自提示的方法提高了符号准确性，为模型提供了简洁可验证的推理能力。

    Aug, 2023

  • 从启发式到分析：认知动机的一致物理常识推理策略

    预训练语言模型（PLMs）通过启发式分析和分析性推理链条的策略，改善了模型决策的连贯性，并且在物理常识推理方面取得了最先进的结果，进一步表明人类类推理策略可以有效提高 PLM 的决策连贯性和可靠性。

    Oct, 2023

  • 走向可行的数学推理：解决数学应用题的挑战、策略和机遇

    研究了解决自然语言描述的数学问题的非神经和神经方法，并突出了这些方法具有可泛化、数学合理、可解释和可解释的能力，提出使用外部知识和知识渗透学习的需求和机会。

    Oct, 2021

  • 通过生成问题语句的语言变体来求解数学应用题

    该论文提出了一种用于解决数学问题的框架，该框架基于生成问题文本的语言变体，利用 DeBERTa 编码器构建解决方案表达式，通过对每个变体问题进行求解并选出获得大多数选票的预测表达式来改善数学推理和模型的鲁棒性。

    Jun, 2023

  • 填空题：探索和增强 LLM 在数学应用问题中倒向推理的能力

    本文研究倒向推理任务在数学问题中的应用，并提出了三种新技术以及一种基于贝叶斯公式的集成方法，这些方法显著提高了语言模型在倒向推理任务上的性能。

    Oct, 2023

  • 使用预训练语言模型进行上下文类比推理

    通过将人类语言与类比制造联系起来，我们使用大规模预训练的语言模型（PLMs）来支持人工智能系统的类比能力，将感知特征转换成语言形式，PLMs 展现出惊人的零 - shot 关系推理能力，并在 RPM 测试中接近监督的以视觉为基础的方法。

    May, 2023

  • 基于常识知识图谱和方程式的数学应用题生成

    本研究提出了一种通过神经网络模型从常识知识图谱和方程式中生成多样化数学单词问题的方法，并在教育评估方面表现出优越性，其中自规划模块实现了方程和常识知识信息的自动融合。

    Oct, 2020

  • 大型语言模型的元推理

    Meta-Reasoning Prompting（MRP）是一种受人类元推理启发的用于大型语言模型（LLMs）的新型高效系统提示方法，通过动态选择和应用不同的推理方法来优化性能和计算效率，实现了在不同任务中达到或接近最先进性能的结果。

    Jun, 2024

  • 从算术任务中学习多步推理

    本研究探究如何将较小的语言模型与多步推理能力相结合，通过在合成数据集 MsAT 上进行持续的预训练，我们的实验证明了该方法对增强语言模型的数学推理能力的有效性。

    Jun, 2023