本文介绍了一种创新技术称为自适应模型融合（AdaMerging），该方法通过无监督任务算术方案自动学习模型融合的系数，既可以在任务层面上，也可以在层级层面上，而无需依赖原始训练数据。实验结果表明，与当前最先进的任务算术融合方案相比，AdaMerging 在性能上有显著的 11% 改进，并且在应用于未见过的下游任务时表现出更好的泛化能力，同时还显著提高了对数据分布漂移的鲁棒性。

Oct, 2023

通过训练语言模型生成与算数问题相关的后缀表达式，并将其与小型预训练模型结合，将令牌嵌入转化为真实稠密数字，通过深度学习平台的本地函数获得正确答案。最后，通过提示注入将小型模型的结果输出添加到语言模型中，从而增强了语言模型的算数能力。

Nov, 2023

本研究提出一个数学计算数据集 MATH 401，用于测试最新的大型语言模型（包括 GPT-4，ChatGPT 等）在解决数学单词问题时的算术能力，并提供了能力的详细分析。

Mar, 2023

通过元素级算术操作组合语言和任务的参数，我们提出了一种改进的零样本跨语言迁移方法，能在使用最少 PEFT 模块训练的情况下实现一致的收益，对摘要生成任务表现出良好的效果。

Nov, 2023

使用模型算术，我们可以对大型语言模型进行组合和偏置，同时使得生成的文本具有更精确的控制，并且在毒性减少任务上表现优于现有技术。

Nov, 2023

论文提出了一种新的测试方法，以测量文本模型的多任务准确性，涵盖了包括数学、历史、计算机科学、法律等 57 项任务，为了达到高准确性，模型必须具备丰富的世界知识和问题解决能力。通过综合评估模型的学术和专业理解的广度和深度，我们的测试可以用于分析许多任务中的模型并确定重要的缺陷。

Sep, 2020

AMGPT 是一种专门设计用于金属增材制造领域的 LLM 文本生成模型，通过在 Retrieval-Augmented Generation (RAG) 设置中使用预训练的 Llama2-7B 模型，并动态地融入来自约 50 篇金属增材制造领域的论文和教材的信息，实现了在 AM 领域的文献导航和查询的目标。

May, 2024

大型语言模型可以准确执行包括多位数字乘法、小数和分数在内的算术运算，并且能够在无数据泄露情况下实现几乎 100% 的准确度，超越了 GPT-4。此外，我们通过在包含多步骤算术运算和文本描述的数据集上对 GLM-10B 进行微调，开发出的 MathGLM 在 5000 个样本的中文数学问题测试集上展现了与 GPT-4 相似的性能。

Sep, 2023

Goat，用 LLaMA 模型细调后，在一系列算术任务中显著优于 GPT-4，特别是在大数字加法和减法方面表现出了非常高的准确性。 对于更具挑战性的任务，如大数字乘法和除法，我们提出了一种根据其可学习性分类任务的方法，并通过利用基本算术原则将不可学习的任务（如多位数乘法和除法）分解为一系列可学习的任务。

May, 2023

通过对高质量合成数据的微调，本文通过提出的算术难题问题展示出大型语言模型在多步推理任务上的出色表现，并通过开源的 3B 模型在三个不同的测试数据集上实验结果表明，这种模型不仅在域内数据集上能够达到 0.44 的零样本一次通过率 @1，而且还在域外数据集上展现出一定的泛化能力，对于扩展数字范围和算术难题问题的组合组件分别设计了两个域外数据集，在这两个更难的任务上，经过微调的模型展示出令人鼓舞的表现，零样本一次通过率 @1 分别为 0.33 和 0.35。

Jun, 2024