Sep, 2024

基于BEST-RQ的线性复杂度注意力替代方法分析

HTML
PDF
TL;DR本研究针对自监督学习中的多头自注意力计算和内存消耗过大的问题，探讨了几种具有线性复杂度的新替代方案，包括HyperMixing、Fastformer、SummaryMixing和Mamba。研究结果表明，这些线性替代方案在保持竞争性性能的同时，平均减少了20%至60%的内存消耗，并在处理输入序列时速度提升了7%至65%。
发现论文，激发创造
  • 基于自注意力和增强记忆的流式Transformer声学模型

    本文提出了一种新颖的增强记忆自注意力机制，用于Transformer语音识别中的流式应用，相对于现有的可流式Transformer方法，减小了计算量并在Librispeech基准测试中实现了超过15%的相对误差降低。

    May, 2020

  • XNOR-FORMER: 长语音Transformer准确近似学习

    本研究开发出一种新型的线性变压器，通过检验自我关注中关键查询产品的特性，发现其在语音识别和语音摘要方面优于现有的方法。

    Oct, 2022

  • Recycle-and-Distill: 基于注意力映射重用和掩码蒸馏的Transformer语音SSL模型通用压缩策略

    本研究提出基于 Transformer 的语音自监督学习模型压缩方法，包括重用注意力矩阵并采用新型蒸馏策略。我们的通用压缩策略可在 SUPERB 基准测试中实现 7.72％ 的音素错误率和 9.96％ 的单词错误率。

    May, 2023

  • MiniSUPERB：自监督语音模型轻量级基准测试

    本研究提出了MiniSUPERB，该基准可以有效评估自监督语音模型的能力，同时极大地降低了计算成本。

    May, 2023

  • 语音自监督表示基准测试：我们做得对吗？

    本文研究了自我监督学习在语音任务中的应用，特别是其在下游任务中的性能表现和解码器架构的影响。结果发现，使用不同的解码器架构可能会导致表现结果的显著变化，使用局限的解码器也可能会适得其反地增加SSL模型的大小。

    Jun, 2023

  • 何时使用高效自注意力? 对文本、语音和图像变量进行分析的Transformer变量

    本文综合了文本、语音和视觉领域中基于自注意力的Transformer变体的效率研究，通过使用各种效率指标（延迟、吞吐量和内存），确定了比普通模型更有效的高阈值的输入长度，同时也引入了一种名为L-HuBERT的自监督语音模型的本地关注变体以在语音领域进行分析。

    Jun, 2023

  • Sumformer: 一种用于语音识别的线性复杂度替代自注意力机制的算法

    本文提出了一种自注意代替算法——摘要混合（Summary Mixing），它使用时间步骤的平均向量对整个话语进行总结，并在最先进的语音识别模型中引入这一方法，降低了训练和推理时间达27％，将内存预算减少了一半。

    Jul, 2023

  • 语音自监督表示基准评估：大型探测器盒的例证

    自监督学习利用大规模的无标签语音数据集，在少量标注数据的情况下达到令人印象深刻的性能。本研究探讨了在探测头结构改变时，基准测试结果如何受到影响。通过评估大容量的探测头，显示了它们对性能、推理成本、泛化能力和多级特征利用的影响。

    Aug, 2023

  • 快速-HuBERT：用于无监督语音表示学习的高效训练框架

    近年来，自我监督学习方法在语音处理任务中取得了显著进展。本文提出了一种名为 Fast-HuBERT 的高效优化方法，通过分析 HuBERT 预训练的计算成本并引入一系列效率优化，实现了与原始实现相比，无性能降低、在 Librispeech 960h 基准上训练时间为 1.1 天、速度提升 5.2 倍的效果。此外，我们在 Fast-HuBERT 中探索了两种技术，并展示了与之前工作相一致的改进效果。

    Sep, 2023

  • 语音处理的线性复杂度自监督学习

    本文研究了一种线性复杂度的自监督学习（SSL）上下文编码器，通过改进SummaryMixing模型，在MP3S基准测试的下游任务中达到更好或相等的性能，将wav2vec 2.0模型的预训练时间和峰值VRAM分别减少了18%和23%，使得155M wav2vec 2.0模型的预训练在一周内由4个Tesla A100 GPU完成。

    Jul, 2024