用 Per-core Clipping 高效训练能记忆较少且性能更好的 ASR 模型

Jun, 2024

用 Per-core Clipping 高效训练能记忆较少且性能更好的 ASR 模型

Efficiently Train ASR Models that Memorize Less and Perform Better with Per-core Clipping

Lun Wang, Om Thakkar, Zhong Meng, Nicole Rafidi, Rohit Prabhavalkar...

TL;DR渐变剪切在训练大规模自动语音识别（ASR）模型中起着至关重要的作用。本研究系统地调查了一种特定细粒度的渐变剪切方法，即每个核心剪切（PCC），对于训练各种 ASR 模型的影响。我们经验证明，PCC 可以有效地减轻 ASR 模型中的非预期记忆。令人惊讶的是，我们发现 PCC 对于 ASR 性能指标产生了积极影响，提高了收敛速度并降低了词错误率。为了避免调整 PCC 引入的额外超参数，我们进一步提出了一种新的变种，自适应每个核心剪切（APCC），用于简化优化。我们的研究结果突显了 PCC 作为一种稳健、保护隐私的 ASR 模型训练策略的多方面优势。

Abstract

gradient clipping plays a vital role in training large-scale automatic speech recognition (ASR) models. It is typically applied to minibatch gradients to prevent gradient explosion, and to the individual sample gradients to mitigate →

gradient clipping asr models unintended memorization convergence rates privacy-forward asr model training

发现论文，激发创造

大规模 ASR 模型中的非预期记忆及其缓解方法

通过简化的审计方法，我们展示了最先进的自动语音识别模型中的记忆化现象，并且证明通过梯度剪裁可以减轻记忆化对速度增强训练样本的影响。

Oct, 2023

关于组间剪辑在差分隐私优化中的准确性和高效性

在本研究中，我们深入研究了差分隐私优化中关键组成部分之一的逐样本梯度剪裁方式，发现不同的剪裁方式具有相同的时间复杂度，但存在准确性 - 内存消耗的权衡关系：粗粒度全部层剪裁通常提供最佳准确性，但相比于细粒度的分组剪裁，会带来更高的内存开销。我们通过收敛性理论和复杂性分析形式化表达了这种权衡关系。重要的是，我们证明了在更大的模型中，分组剪裁与全部层剪裁之间的准确性差距越来越小，而分组剪裁的内存优势仍然存在。因此，分组剪裁允许对大型模型进行差分隐私优化，以同时实现高准确性和低内存峰值。

Oct, 2023

CLIP: 用更少的数据更快地训练

该论文提出了一种名为 CLIP 的新型数据处理方法，该方法集成了课程学习和数据集修剪，通过迭代数据修剪来提高模型的学习精度和收敛速度。在人群密度估计模型上进行了大量实验，结果表明，将数据修剪视为课程学习的嵌入过程是新颖的，此方法可以通过减少收敛时间和提高泛化能力来提高训练的效率。

Dec, 2022

采用样本适应裁剪的差分隐私学习

本文提出了一种基于自适应非单调权重函数的差分隐私逐样本自适应剪裁算法（DP-PSAC），通过一个严谨的理论收敛分析和若干个主流视觉和语言任务的实验验证，我们发现 DP-PSAC 能够同时保证差分隐私和显著降低更新值和真正批量平均梯度之间的偏差，其算法效果优于同领域的相关工作 NSGD/Auto-S。

Dec, 2022

引导式对比自监督预训练在自动语音识别中的应用

本研究提出了一种名为 GCPC 的改进型 CPC 方法，可以注入先验知识并在 Tacotron2 上进行预训练，实验表明，相比于 CPC，该方法在德语，法语和英语等自动语音识别任务中均表现出更好的识别效果。

Oct, 2022

自动剪裁：更轻松更强大的差分隐私深度学习

本论文提出了一种易于使用的替代方案 AutoClipping，它消除了任何 DP 优化器（包括 DP-SGD，DP-Adam，DP-LAMB 等）调整剪辑参数 R 的需要，提供了和现有 DP 优化器一样私密和计算有效的自动变体，但不需要 DP 特定的超参数，因此使 DP 训练像标准的非私密训练一样易于处理，在非凸环境中采用自动 DP-SGD 的严格收敛分析表明其具有与标准 SGD 相匹配的渐近收敛速度，并证明该算法在各种语言和视觉任务上优于或与最先进的方法相匹配，可以很容易地用最少的更改应用于现有的代码库。

Jun, 2022

通过像素级梯度剪裁提升高分辨率三维生成

通过像素级梯度剪裁（PGC）方法，提高现有高分辨率三维生成模型的性能，以改进高分辨率三维物体渲染的综合质量。

Oct, 2023

并非所有特征都重要：自适应先验精化增强少样本 CLIP

本文提出了一种自适应先验精细化方法 APE，通过先验精细化模块分析下游数据中的类间差异，将领域特定知识与 CLIP 提取的缓存模型分离，进而在轻量化的类别残差模块的支持下，探究测试图像、先前缓存模型和文本表示之间的三元亲和性，并通过 APE 和 APE-T 这两种模型实现了在 11 个基准数据集上超过第二名 +1.59% 和 +1.99% 的最优性能，且它们使用的学习参数比第二名少 30 倍。

Apr, 2023

一种用于提高自动语音识别中噪声稳健性的课程学习方法

这篇论文提出了一种相对简单的课程式的训练策略，称为 Accordion Annealing（ACCAN），它利用一个多阶段的训练计划来增加语音识别系统的噪声韧性，同时应用 Per-epoch Noise Mixing（PEM）方法来动态改变训练数据的信噪比，该方法在 20dB 至 - 10dB SNR 范围内的平均词错误率取得了 31.4％的下降。

Jun, 2016

高效自动语音识别的精准结构化剪枝

本论文提出了一种新的压缩策略，利用结构剪枝和知识蒸馏来减小 Conformer 模型的模型大小和推理成本，同时保持高识别性能。该方法优于所有剪枝基线，在 LibriSpeech 基准测试中实现了 50％的模型大小减少和 28％的推理成本减少，同时最小化了性能损失。

May, 2023