模型集成：对多个微调模型的权重进行平均可提高准确度且不增加推理时间

ICMLMar, 2022

模型集成：对多个微调模型的权重进行平均可提高准确度且不增加推理时间

Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time

Mitchell Wortsman, Gabriel Ilharco, Samir Yitzhak Gadre, Rebecca Roelofs, Raphael Gontijo-Lopes...

TL;DR通过平均训练以不同超参数配置微调的模型，提高现有模型的性能和鲁棒性，从而在多个图像分类和自然语言处理任务中达到新的最先进技术水平。

Abstract

The conventional recipe for maximizing model accuracy is to (1) train multiple models with various hyperparameters and (2) pick the individual model which performs best on a held-out validation set, discarding the remainder. In this paper, we revisit the second step of this procedure i

model accuracy pre-trained models hyperparameter configurations model soups state of the art

发现论文，激发创造

RADIN：在预算范围内煲汤

通过使用平均集成的日志绩效近似模型汤的性能，我们提出了一种加速模型汤的方法。理论上证实了集成日志与权重平均模型汤在任何混合比例下的一致性。我们的资源调整模型汤方法在允许灵活的评估预算的同时，相比以前的贪婪方法能够在更低的预算下提高性能（ImageNet 上高达 4%）。

Jan, 2024

模型库：我们只需要一些微调的模型

介绍了一种有效的大型预训练模型微调方法，通过使用更少的模型实现更精确的权重，提供了出色的分布内（ID）和分布外（OOD）性能。

Mar, 2024

融合 Fine-tuned 模型以改善预训练

通过融合多个经过微调的模型，平均模型参数来达到更好的基础模型的目的，并且发现融合模型效果常常优于预训练模型，同时融合比互训模型更鲁棒且不受目标任务依赖。

Apr, 2022

稀疏模型汤：通过模型平均实现剪枝改进的配方

本文介绍了一种稀疏神经网络模型的组合方法，称为稀疏模型汤。该方法使用迭代剪枝技术，通过在众多超参数配置中重新训练模型以获得相同的稀疏性，从而使得多个稀疏模型之间的参数能够平均并且相容，从而增强了这些模型的泛化能力。

Jun, 2023

通过模型压缩提高推理性能，不增加计算时间

使用不同的 Model Soups 并从中选出 Pruned Soup，比较了不同模型的表现，然后讨论了实验中发现的 weight-averaging 的局限性。

Jan, 2023

WASH：使用通信高效的权重重排，然后平均训练你的集成模型

WASH 是一种新的分布式方法，用于训练模型集合以进行权重平均化，实现了最先进的图像分类准确性。

May, 2024

弗兰肯斯坦效应，或者如何通过混合流形模型实现更好的超出分布性能

我们提出了混合模型汤的流形混合模型算法，通过以最佳方式混合多个微调模型的潜在空间流形来生成融合模型，该融合模型在分布转移时表现显著提高（与最佳单个模型相比提高 3.5%），并且在微调所用的原始数据集上也提供更高的准确率。

Aug, 2023

零样本模型的鲁棒微调

本文介绍了一种名为 WiSE-FT 的简单而有效的方法，可以通过对预先训练模型的加权平均来提高微调模型的鲁棒性，从而在分布移位下实现大幅度的准确性提升，并在不增加额外计算成本的情况下实现。

Sep, 2021

融合语言模型权重实现无数据知识融合

本文提出一种数据无关的知识融合方法，通过在参数空间内合并模型并引导最小化预测差异的权重，将建立在不同训练数据集上的个别模型合并为一个模型，以在所有数据集领域都表现良好并可以推广到域外数据。在评估设置的一系列电池上，我们发现该方法明显优于 Fisher 加权平均或模型集成等基线，并且我们发现我们的方法是一种有前途的替代多任务学习的方法，可以在不访问训练数据的情况下保留或有时提高个别模型的性能。最后，模型合并比训练多任务模型更高效，因此适用于更广泛的情况。

Dec, 2022

扩散汤：文本到图像扩散模型的模型合并

Diffusion Soup 通过对分片数据上训练的扩散模型的权重进行平均，实现了训练免费的持续学习和遗忘，从而在权重空间中从几何平均的分布中采样，提供反记忆化保证，并实现零样式混合和混合样式的零样生成。

Jun, 2024