EMNLPOct, 2022

RedApt:wav2vec 2 编码适配器，更快更小的语音翻译无损质量

PDF
TL;DR通过使用 Reducer Adaptor block，将 pretrained wav2vec 2 speech encoder 与 Transformer-based speech encoding architecture 无缝集成，可在推理时实现 41% 速度提升、33% 内存减少以及 24% 的 FLOPs 减少，在 Must-C 的 8 种语言对中，使用 RedApt 的 ST 模型 BLEU 得分平均提高 0.68，胜过 SotA 架构。
发现论文，激发创造
  • 自监督语音模型的有效适配器传递用于自动语音识别

    本文研究使用适配器将预训练的 wav2vec 2.0 模型进行微调，以减少自动语音识别任务对参数的需求，提高模型的可扩展性和效率。应用适配器后，每个任务的参数少于 10％，性能降低很少。结果表明，通过仅向预训练网络的前几层添加适配器，就可以实现与完全迁移相似的性能，进一步优化了效率。

    Feb, 2022

  • AdaPTwin：基于 Transformers 的产品双胞胎的低成本自适应压缩

    在资源受限的环境中，我们提出一种名为 AdaPTwin 的低秩自适应压缩技术，它可以压缩转换器注意层中的产品相关权重矩阵对，以降低大型转换器模型的计算和存储开销，并实现对新说话人和声学环境的泛化性能。这种压缩技术只需 8 小时的语音数据进行微调，时间不到 20 分钟，与其他压缩方法相比成本极低，并且在压缩 Whisper 和 Distil-Whisper 模型时，词错误率仅增加不到 2%。

    Jun, 2024

  • 基于 Wav2vec2 的假音频检测的低秩适应方法

    文章介绍了如何使用低秩适应（LoRA）方法在不显著劣化性能的情况下，有效减少预训练语音模型的微调时间和内存占用

    Jun, 2023

  • 超越通用 Transformer: 在 Transformer 中使用适配器进行块重复以进行自动语音识别

    本文提出了一种基于块重复策略和适配器模块的解决方案 (BRST 和 ADM)，旨在适应资源限制的小型自动语音识别（ASR）系统，并在公共语料库实验中取得了较好的识别结果。

    Mar, 2023

  • M 适配器：端到端语音到文本翻译的语言形式适应

    本研究提出一种新型基于 Transformer 的 M-Adapter 方法，通过建模语音序列的全局和局部依赖关系，将语音表示特征适应到文字输入上，以缩小语音输出和文字输入之间的模态差距，从而提高端到端语音到文本翻译的质量，并在 Must-C En→DE 数据集上获得比强基准模型高达 1 BLEU 得分的表现。

    Jul, 2022

  • AdaTranS: 基于边界缩小适应的端到端语音翻译

    本研究提出了 AdaTranS 技术，通过预测单词边界，减少语音和文本特征之间的长度差异以适应语音特征，解决了端到端语音翻译中的数据稀缺问题。通过 MUST-C 数据集的实验表明，AdaTranS 比其他基于收缩的方法具有更好的性能，具有较高的推理速度和低内存使用率。进一步的实验还表明，AdaTranS 还可以配备额外的对齐损失来进一步提高性能。

    Dec, 2022

  • 基于适配器的预训练方法用于高效可扩展的自监督语音表征学习

    本文介绍了一种方法，可以将预先训练的自我监督（SSL）语音表示转移到多种语言中，使用适配器模块加快新语言任务的预训练，并在不遗忘先前语言表示的情况下学习新的音频 - 语言表示，然后应用这些语言表示进行自动语音识别。

    Jul, 2021

  • 使用预训练模型和适配器进行端到端的语音翻译：UPC 在 IWSLT 2021

    本文介绍了 UPC 机器翻译小组提交给 IWSLT2021 离线语音翻译任务的参赛作品，是一个基于端到端的离线语音翻译系统，采用预训练模型 Wav2Vec 2.0 和 mBART 的联合技术，在仅训练 20% 的参数的前提下获得了 27.3 的 BLEU 分数，并采用 Adapter 及预训练技术提高了收敛速度和最终结果，最后使用 Ensemble 模型取得 28.22 的 BLEU 分数，同时还使用了一种自定义细分算法，在 IWSLT2019 测试集上相对于给定细分的结果提高了 2.5 到 3 的 BLEU 分数。

    May, 2021

  • 预训练语音模型的高效适配器调优用于自动说话人验证

    通过在预先训练的模型中插入轻量级适配器模块，将自监督语音模型适应到说话人验证任务中，我们提出了一个高效的适配器框架。实验结果表明，该框架在更新仅 5% 的参数的情况下，超过了微调和其他参数高效的迁移学习方法，实现了卓越的性能。

    Mar, 2024

  • 面向语音识别的统一说话人适应方法

    本文提出了一种基于特征适应和模型适应的统一说话人自适应方法，其中采用一种说话人感知的持久性记忆模型进行特征适应，并使用一种新颖的逐步修剪方法进行模型适应。在 Librispeech 数据集上的实验结果表明，相对于基线方法，在一般说话人自适应和目标说话人自适应中使用所提出的方法可带来 2.74-6.52% 的词错误率下降，并且该方法具有良好的低资源适应性能。

    Oct, 2021