本文提出了一种称之为权值平均的方法，可以有效解决训练好的 ASR 模型遗忘旧任务的问题，并在单语和多语 ASR 上实现了高性能。

Oct, 2022

在神经机器翻译中，采用 checkpoint 平均值来提高模型的性能，此方法计算简单，被广泛采用。本文通过实验，考虑了不同 checkpoint 选择策略、加权平均、梯度信息等方面的应用，结果表明 checkpoint 平均值对于性能的提高是必要的，但随着收敛到最优模型的序列不断增加，模型的改善空间较小。

Oct, 2022

机器学习的经典智慧认为泛化误差可以从偏差和方差两个方面进行分解，并且这两个术语之间存在一种权衡关系。然而，在本文中，我们展示了对于由深度学习为基础的分类模型集合，偏差和方差在样本级别上是一致的，其中对于正确分类的样本点，平方偏差近似等于方差。我们通过实证证据在多种深度学习模型和数据集上验证了这一现象。此外，我们从两个理论角度研究了这一现象：校准和神经坍缩。我们首先理论上证明在模型被很好地校准的假设下，我们可以观察到偏差 - 方差一致性。其次，从神经坍缩理论提供的视角出发，我们展示了偏差和方差之间的近似相关性。

Oct, 2023

通过使用采样算法进行神经网络训练，我们引入了一种方差控制的自适应采样（VCAS）方法，该方法可以在数据和权重梯度计算过程中使用细粒度的分层重要性采样和杠杆得分采样，以加快训练过程并降低计算量。通过在多个任务中进行评估，我们发现 VCAS 可以在保持准确性的同时，减少最高达 73.87% 的 BP 计算量和 49.58% 的整个训练过程计算量。

Feb, 2024

提出了自适应随机权重平均（ASWA）技术，该技术结合了随机权重平均（SWA）和提前停止技术，仅在验证数据集上提高泛化性能时更新模型参数的运行平均值。对于图像分类到知识图谱上的多跳推理等广泛实验中，结果表明 ASWA 在模型和数据集上都能实现统计上更好的泛化。

Jun, 2024

研究探讨了在自动语音识别中单一基准测试数据的数字推动是否具有价值，发现噪声增强有助于提高模型的泛化性能，并且使用大量的基准测试数据可以良好地代表真实世界中的性能表现，最终得出在广泛使用的数据集上训练单一声学模型可达到竞争性的研究和现实世界基准测试性能。

Oct, 2020

本文提出了一种基于 CTC 目标的自动语音识别（ASR）的简单而高效的辅助损失函数，结合随机深度训练，应用于最近提出的 Conformer 网络，能够在没有语言模型的情况下实现 9.9％的单词错误率和 5.2％的字符错误率。

Feb, 2021

通过运用检查点平均化方法来改进大型语言模型（LLMs）的质量，在不增加额外培训或推理成本的前提下，缩短训练时间并提高测试和零样本泛化能力。

Jun, 2023

本文探讨了在跨语种任务上，fine-tuning 的模型在模型点上的性能评估并不符合 zero-shot 和 few-shot 学习的前提；并提出了一种更为稳健的模型检查点平均方法，特别是在没有标注的目标语言数据的情况下，该方法在多个任务和语种下表现出可靠的性能。

May, 2023

本文提出了一个名为 CVIB 的新型对比变分信息瓶颈框架，用于减少深度模型在输入特征和输出标签之间的虚假关联问题，并通过在原始网络和自剪枝网络之间使用对比学习来同时优化这两个网络。实验表明，该方法在整体预测性能、鲁棒性和泛化性等方面均优于强竞争对手。

Mar, 2023