Feb, 2024

鲸鱼数学：释放初高中数学中 SML 的潜力

PDF
TL;DROrca-Math 是一个基于 Mistral-7B 的 70 亿参数 SLM，它能够在 GSM8k 上达到 86.81% 的准确率，无需多次调用模型或使用验证器、代码执行或其他外部工具。
mathematical word problem-solvingsmall language modelsgsm8k benchmarkorca-mathiterative learning techniques
发现论文，激发创造
  • TinyGSM: 使用小型语言模型在 GSM8k 上达到 80% 以上

    通过使用小规模模型并结合高质量的数据集，我们的研究探索了如何提升小型语言模型在解决小学数学问题时的数学推理能力，并通过引入 TinyGSM 数据集和验证器的方法，实现了在 GSM8K 基准测试中超过 80% 的准确率，同时在模型规模上远远超过现有模型。

    Dec, 2023

  • 关于小学算术的大型语言模型性能的仔细检查

    大型语言模型在数学推理的许多基准测试上取得了令人瞩目的成功，但人们越来越担心其中的一部分性能实际上是由于数据集污染，而不是真正的推理能力。调查显示，许多模型可能已经部分记忆了基准测试的例子，导致在新的基准测试上准确度下降。

    May, 2024

  • 常见七 B 语言模型已经具备强大的数学能力

    LLaMA-2 7B 模型通过简单的方法扩展数据样本，证明了其出色的数学能力及可靠性，适用于 GSM8K 和 MATH 基准测试，并提供了关于不同推理复杂性和错误类型的扩展行为的见解。

    Mar, 2024

  • GSM-Plus: 评估 LLMs 作为数学问题求解器鲁棒性的综合基准

    通过对大型语言模型进行广泛的问题变体测试，我们评估了它们的数学推理能力的鲁棒性。结果表明，虽然这些模型在数学推理能力上表现出不同水平，但它们的性能远非稳健。

    Feb, 2024

  • Orca 2: 教授小型语言模型进行推理

    Orca 2 通过学习丰富的信号，诸如解释追踪等，使其在 BigBench Hard 和 AGIEval 等基准测试中优于传统的经过指导调整的模型。

    Nov, 2023

  • SkyMath: 技术报告

    通过自我比较微调，SkyMath 增强了 Skywork-13B-Base 的数学推理能力，并在 GSM8K 上胜过了所有已知规模相似的开源模型，创造了新的 SOTA 性能。

    Oct, 2023

  • Orca：从 GPT-4 复杂解释跟踪中渐进式学习

    Orca 是一个学习仿真大型模型（LFMs）的推理过程的 130 亿参数模型，通过从 GPT-4 和 ChatGPT 的帮助中获取详细的信号来学习。Orca 在复杂的零 - shot 推理基准测试中的表现超过了 Vicuna-13B 等学习指令调整模型，与 ChatGPT 在 BBH 基准测试中达成并行，并在职业和学术考试中展现出竞争力。

    Jun, 2023

  • 训练验证程序员解决数学应用题

    介绍一个 8.5K 高质量的语言多样的小学数学问题数据集 GSM8K，表明即便是最大的变压器模型仍然无法在多步数学推理方面实现高的测试性能，提出使用 verifiers 验证模型的正确性并通过排名选择最优解来提高性能。

    Oct, 2021

  • 培训以调用符号求解器为目标的经济型语言模型实现参数高效算术推理

    在这篇论文中，我们提出了一种名为 SYRELM 的架构，它通过采用符号求解器来将自然语言算术问题转化为形式化语言描述，然后通过一个小型冻结的 LM 生成包含自然语言描述的形式化表达式，并通过策略梯度强化学习训练适应的 LM，从而实现合理的算术推理。该方法在准确性上取得了巨大的改进，并具有易于诊断、解释和大多数研究人员可以使用的特点。

    Dec, 2023

  • 元数学：为大型语言模型建立自己的数学问题

    我们提出了一个名为 MetaMath 的精细调整的语言模型，专注于数学推理，实验证明 MetaMath 在数学推理方面表现优于开源语言模型。

    Sep, 2023