通过融合高度专业化的语言模型，同时掌握文本、代码和数学

Mar, 2024

通过融合高度专业化的语言模型，同时掌握文本、代码和数学

Mastering Text, Code and Math Simultaneously via Fusing Highly Specialized Language Models

Ning Ding, Yulin Chen, Ganqu Cui, Xingtai Lv, Ruobing Xie...

TL;DR我们提出了一种融合不同领域模型的框架，UltraFuser，通过引入令牌级别的门控机制以及两阶段训练策略，以高效稳定的方式训练模型，并构建了一个具有广泛话题覆盖的高质量训练数据集，UltraChat 2，在文本、代码和数学领域展现出高水平的性能。

Abstract

Underlying data distributions of natural language, programming code, and mathematical symbols vary vastly, presenting a complex challenge for large language models (LLMs) that strive to achieve high performance across all three domains simultaneously. Achieving a very high level of pro

language models data distribution fusion framework specialized models training strategy

发现论文，激发创造

MuMath-Code：结合多角度数据增强的数学推理工具使用大型语言模型

我们提出了一种结合外部工具和数据增强的方法，并采用两阶段的训练策略，以实现数学推理能力的增强。经过大量实验证明，我们的方法在数学推理任务上取得了新的最佳性能。

May, 2024

FuseChat：聊天模型的知识融合

通过知识融合技术将结构和规模不同的源语言模型（LLM）融合为具有相同结构和大小的目标 LLM，从而实现对聊天 LLM 的融合，该方法在聊天领域中的实验结果表明其在多个尺度上优于其他聊天 LLM 模型，并可达到类似于 Mixtral-8x7B-Instruct 的性能水平。

Feb, 2024

常见七 B 语言模型已经具备强大的数学能力

LLaMA-2 7B 模型通过简单的方法扩展数据样本，证明了其出色的数学能力及可靠性，适用于 GSM8K 和 MATH 基准测试，并提供了关于不同推理复杂性和错误类型的扩展行为的见解。

Mar, 2024

大型语言模型的知识融合

通过知识融合的方法，将预先训练的大型语言模型相互结合，以提升目标模型的性能表现，实现在推理、常识与代码生成等多种能力上的改进。

Jan, 2024

CodeFuse-13B：一个预训练的多语言编码大型语言模型

CodeFuse-13B 是一个针对包括英文和中文提示的代码相关任务设计的开源预训练代码 LLM，通过使用高质量预训练数据集，在真实世界使用场景、人工评估和特别设计的中国提示评估中进行了广泛实验，结果表明在代码生成、代码翻译、代码注释和测试案例生成等实际场景中，CodeFuse 比其他模型在面对中文提示时表现更好。

Oct, 2023

MathCoder：深化数学推理的 LLMs 中无缝代码集成

我们提出了一种方法，通过对开源语言模型进行微调，使其能够使用代码进行建模，并推导出数学方程，从而增强其数学推理能力。我们介绍了一种生成包含数学问题和基于代码的解决方案的新颖高质量数据集的方法，称为 MathCodeInstruct。我们还引入了一种定制的有监督微调和推理方法。这种方法产生了 MathCoder 模型，一组能够生成基于代码的解决方案来解决具有挑战性的数学问题的模型。令人印象深刻的是，MathCoder 模型在 MATH（45.2％）和 GSM8K（83.9％）数据集上取得了开源语言模型的最新得分，远远超过其他开源方案。值得注意的是，MathCoder 模型不仅在 GSM8K 和 MATH 上超过了 ChatGPT-3.5 和 PaLM-2，还超过了 GPT-4 在竞争级别的 MATH 数据集上。数据集和模型将在此 URL 发布。

Oct, 2023

使用合成数据探索大型语言模型的数学外推

通过对高质量合成数据的微调，本文通过提出的算术难题问题展示出大型语言模型在多步推理任务上的出色表现，并通过开源的 3B 模型在三个不同的测试数据集上实验结果表明，这种模型不仅在域内数据集上能够达到 0.44 的零样本一次通过率 @1，而且还在域外数据集上展现出一定的泛化能力，对于扩展数字范围和算术难题问题的组合组件分别设计了两个域外数据集，在这两个更难的任务上，经过微调的模型展示出令人鼓舞的表现，零样本一次通过率 @1 分别为 0.33 和 0.35。

Jun, 2024

通过将语言模型与符号求解器相结合解决数学语言问题

通过将大型语言模型与外部符号求解器相结合，我们提出了一种能够将单词问题逐步规范化为一组变量和方程的方法，并使用符号求解器解决问题，相较于 PAL 在解决代数类问题上性能提升了 20%。

Apr, 2023

Mathify: 在数学问题求解任务上评估大型语言模型

自然语言处理和大型语言模型在教育和指导方法领域取得了快速进展，特别在解决数学问题的应用方面，其中 MAmmoTH-13B 表现出了最高的能力水平，成为解决 NCERT 数学问题的可靠基准。

Apr, 2024

领域特定代码语言模型：揭示高性能计算代码和任务的潜力

通过开发针对特定领域的较小语言模型，我们质疑现有的语言模型选择，构建了一个针对高性能计算（HPC）领域的 MonoCoder 模型，它在非 HPC 和 HPC 任务中实现了类似甚至更好的性能，并在高性能和并行代码生成中取得出色结果。

Dec, 2023