Jan, 2024

通过混合思维提炼，提高小型语言模型的数学推理能力

PDF
TL;DR通过将大型语言模型的数学推理能力压缩到亿级参数的小型语言模型中，不影响性能，以实现先进的大型语言模型民主化。我们提出了 EoTD（Equation-of-Thought Distillation）技术，将推理过程封装到基于方程的表示中，构建了 EoTD 数据集用于微调小型语言模型。此外，我们提出了 MTD（Mix Thoughts Distillation）框架，以增强小型语言模型的推理性能。实验结果表明，EoTD 显著提升了小型语言模型的推理能力，而 MTD 使这些模型达到了最先进的推理性能。
large language modelscompressionequation-of-thought distillationmix thoughts distillationreasoning performance
发现论文，激发创造
  • 混合蒸馏助于小型语言模型更好地进行推理

    通过 Mixed Distillation 框架，将大语言模型的 Program-of-Thought 和 Chain-of-Thought 的能力转移到较小模型中，提高较小模型的性能，优于传统蒸馏方法，并在多路径推理中实现了令人印象深刻的准确度表现。

    Dec, 2023

  • 心灵之镜：从大型语言模型中提炼自我评估能力和综合思考

    大型语言模型（LLMs）在自然语言处理领域取得了显著的进展，但是考虑到它们的规模和计算需求，将这些模型实际部署在资源受限的环境中面临着巨大的挑战。为了解决这些问题，我们提出了一种双重方法：首先，我们引入了一种将 LLMs 中固有的自我评价能力提取到 SLMs 中的新方法，旨在减少错误推理和幻觉的不利影响。其次，我们建议采用综合的蒸馏过程，结合多种不同的链式思维和自我评价范式，确保更全面、更稳健地将知识转移至 SLMs 中。在三个自然语言处理基准测试上进行的实验表明，我们的方法显著提高了蒸馏 SLMs 的性能，并为开发与人类认知更接近的较小模型指明了方向。

    Nov, 2023

  • LLMs 的有效表格推理能力提炼

    本论文提出了一种新颖的基于表格推理的蒸馏方法，通过将大型语言模型（LLMs）蒸馏成专门为基于表格推理任务设计的小型模型，实验证明使用蒸馏数据进行微调的 0.22 亿参数模型（Flan-T5-base）在科学表格文本生成数据集（SciGen）上不仅显著提高了性能，而且超越了诸如 gpt-3.5-turbo 等特定 LLMs 的表现。

    Sep, 2023

  • 超越模仿：从推理涤纶中学习关键推理步骤的双重思维链

    使用基于错误的驱动关键推理步骤蒸馏（EDIT）方法，可以更有效地帮助小型语言模型学习重要的推理步骤，而不仅仅是简单的微调，验证了其在基准推理数据集上的有效性。

    May, 2024

  • Sci-CoT：利用大型语言模型增强科学问答中小模型的知识蒸馏

    本文旨在通过知识蒸馏的方式将大型语言模型的推理能力传递给较小模型，提出了一种名为 Sci-CoT 的两阶段框架，该框架通过分离生成推理步骤和推理答案的过程，在科学问答任务中利用推理步骤更有效地进行推理，使得 8000 万参数的模型在 ARC-Easy 数据集的少样本情况下超过了 BLOOM-176B 的性能。

    Aug, 2023

  • 符号链式思考精华提炼：小型模型也能逐步 “思考

    本文介绍了一种名为 Symbolic Chain-of-Thought Distillation (SCoTD) 的方法，在巨大的语言模型的注释和参数的指导下，训练参数远低于 50B 的较小模型，在几种常识基准测试中证明了在有监督和少样本学习环境下可以提高性能。

    Jun, 2023

  • TinyLLM: 从多个大型语言模型中学习一个小型学生

    通过知识蒸馏，从多个大型教师语言模型中学习小型学生语言模型 TinyLLM，以解决当前方法存在的知识多样性有限和缺乏丰富的上下文信息等问题，并通过引入上下文示例生成器和 teacher-forcing 链式推理策略来确保合理的推理基于适当情境，从而在两个推理任务的六个数据集上的广泛实验中展示了 TinyLLM 方法的优越性，结果表明尽管模型尺寸较小，但 TinyLLM 可显著优于大型教师语言模型。

    Feb, 2024

  • 通过语义分解将大型语言模型的多步推理能力浓缩为更小的模型

    本研究提出对大型语言模型进行知识蒸馏的方法，利用链式思考等分步推理技术来促进推理能力并提高模型性能，通过分解、训练和求解等步骤实现问题的分解和求解，比链式思考方法性能更佳，可广泛应用于数学问题等多场景中。

    Dec, 2022

  • 由大到小：利用弱监督提炼和提高数学词问题的数学专业知识

    通过创新的两阶段框架，从大型到小型语言模型中转移数学专业知识，通过弱监督任务设置解决数学文字问题中标注成本高的挑战，并在降低计算成本的同时，在 Math23K 和 Weak12K 数据集上表现出显著改进的性能。

    Mar, 2024

  • SCOTT: 自洽思维串讲压缩

    提出了一种知识蒸馏方法以学习从比自身大几个数量级的大型语言模型中生成一致合理的解释的小型自洽 Chain-of-Thought（CoT）模型，它使用教师模型生成的合理解释来学习学生模型，并使用对抗性约束来保证学生模型保持一致性和反事实推理，实验结果表明，这种方法可以更好地生成有利于提高性能的 CoT 解释。

    May, 2023