加权平均法：一种简单而有效的方法，用于克服自动语音识别中的灾难性遗忘

Oct, 2022

加权平均法：一种简单而有效的方法，用于克服自动语音识别中的灾难性遗忘

Weight Averaging: A Simple Yet Effective Method to Overcome Catastrophic Forgetting in Automatic Speech Recognition

Steven Vander Eeckt, Hugo Van hamme

TL;DR本文提出了一种称之为权值平均的方法，可以有效解决训练好的 ASR 模型遗忘旧任务的问题，并在单语和多语 ASR 上实现了高性能。

Abstract

Adapting a trained automatic speech recognition (ASR) model to new tasks results in catastrophic forgetting of old tasks, limiting the model's ability to learn continually and to be extended to new speakers, dial

automatic speech recognition end-to-end asr catastrophic forgetting trained model weight averaging

发现论文，激发创造

BERT WEAVER: 采用加权平均实现基于 Transformer 的模型的生命周期学习

提出了一种称为 WEAVER 的简单且高效的后处理方法，该方法将旧知识融入新模型中，从而减少灾难性遗忘，并且在序列方式下，应用 WEAVER 导致与一次性对所有数据进行联合训练相似的单词嵌入分布，同时具有更高的计算效率。

Feb, 2022

克服虛假音頻檢測中的災難性遺忘

我们提出了一种连续学习算法用于检测伪造音频以克服灾难性遗忘，并引入正则化约束来控制特征分布，通过自适应权重修改方向，网络可以在新数据集上有效检测伪造音频，同时保留对旧模型的知识，实现降低灾难性遗忘。我们在多个数据集上评估了我们的方法，并在跨数据集实验中取得了显著的性能改进。

Aug, 2023

自适应随机加权平均

提出了自适应随机权重平均（ASWA）技术，该技术结合了随机权重平均（SWA）和提前停止技术，仅在验证数据集上提高泛化性能时更新模型参数的运行平均值。对于图像分类到知识图谱上的多跳推理等广泛实验中，结果表明 ASWA 在模型和数据集上都能实现统计上更好的泛化。

Jun, 2024

面向不断学习新语言

本研究通过将权重分解和弹性权重整合的方法相结合，以抵消灾难性遗忘并快速学习新语言，在 10 种语言的初始训练中实现了从 10 种语言到 26 种语言的学习，同时消除了灾难性遗忘。训练后的性能表现可以与全部语言同时训练相媲美。

Nov, 2022

高效的非回忆式零遗忘连续学习：自适应权重调节

通过创建每个任务的任务特定调制参数来实现，我们的方法试图在确保不遗忘的同时，最大化新任务的性能。通过全面的实验评估，我们的模型在获取和保留对其他多任务模型而言困难的新任务方面表现出卓越的性能，从而强调了我们的方法在防止灾难性遗忘并适应新任务的获取方面的功效。

Nov, 2023

自动语音识别中的持续学习新词

基于自我监督的持续学习方法，在自动语音识别系统中识别新词时表现出增长性能，通过使用来自之前工作中的增强型记忆自动语音识别模型，通过偏置模型向滑动中的新词进行解码，并对检测到的新词使用推理，将包含这些新词的话语收集到自适应数据集中，对该集进行持续学习，通过调整加到每个模型的权重矩阵上的低秩矩阵权重。该方法在新词经常出现时获得递增性能（超过 80% 的召回率），同时保持模型的一般性能。

Jan, 2024

大规模多语言持续学习中克服灾难性遗忘

本论文研究在一种包含 51 种语言和分类、序列标记任务的大规模多语言持续学习框架中，灾难性遗忘问题以及最小化此问题的方法，提出了一种学习率调整方法 LR ADJUST，其能有效地保留新信息而不过度覆盖过去的知识，并且该方法在多种持续学习方法中都行之有效。还进一步深入分析了该大规模多语言环境下灾难性遗忘的动态过程。

May, 2023

ApproBiVT: 使用近似的偏差 - 方差折衷指导早停和检查点平均的先导 ASR 模型更好地泛化

在这篇论文中，我们从偏差和方差的权衡角度重新考虑并更新了早停和检查点平均值的方法，使用训练损失和验证损失作为偏差和方差的近似代理，并在高级 ASR 模型上验证时，我们的方法在 AISHELL-1 和 AISHELL-2 上分别降低了 2.5%-3.7% 和 3.1%-4.6% 的 CER。

Aug, 2023

重新审视神经机器翻译中的检查点平均化

在神经机器翻译中，采用 checkpoint 平均值来提高模型的性能，此方法计算简单，被广泛采用。本文通过实验，考虑了不同 checkpoint 选择策略、加权平均、梯度信息等方面的应用，结果表明 checkpoint 平均值对于性能的提高是必要的，但随着收敛到最优模型的序列不断增加，模型的改善空间较小。

Oct, 2022

平均权重导致更宽的随机局部极小值和更好的泛化

通过在 SGD 轨迹上抽样多个点进行简单平均，Stochastic Weight Averaging（SWA）过程实现了比传统训练更好的泛化，SWA 获得了 CIFAR-10、CIFAR-100 和 ImageNet 上多个最先进网络的显着测试精度提高，而且 SWA 实现简单、无几乎不需要计算成本。

Mar, 2018