Jul, 2022

朝着低成本的端到端口语理解

PDF
TL;DR该研究比较了几种学习策略以减少使用自监督模型进行训练的计算时间和能源消耗成本，同时在 FSC 和 MEDIA 语料库上的实验表明，该方法可以在保持最先进性能的同时降低学习成本。
spoken language understandingself-supervised modelstraining strategiesenergy consumptionperformance
发现论文，激发创造
  • 自动端到端语音理解的轻量化实现

    这篇论文研究了自我监督模型在大语音语料库中训练的近期进展，并比较了几种学习策略以减少计算时间和能源消耗成本，但保持竞争性能表现。

    Jul, 2022

  • 基于 Transformer 的模型在法语口语理解任务上的基准测试

    本研究采用新的基准测试方法，重点评估了 13 种 Transformer 模型在两个已有的法语口语理解任务中的质量和其生态影响，并证明了压缩模型可以取得较大模型相似的结果，同时具有较小的生态环境影响。

    Jul, 2022

  • LeBenchmark 2.0：一种用于法语语音的标准化、可复制和增强的自监督表示框架

    该论文介绍了 LeBenchmark 2.0，一个用于评估和构建搭载自监督学习的法语语音技术的开源框架，其中包括大量不同类型的语料库，包含长达 14,000 小时的异构语音数据，十个预训练的 SSL wav2vec 2.0 模型，与社区共享的可学习参数介于 2600 万到 10 亿之间，并提供六个下游任务的评估协议以补充现有基准。LeBenchmark 2.0 还对针对语音的预训练 SSL 模型提供了独特的视角，包括冻结与微调的下游模型、任务不可知与任务特定的预训练模型，并讨论了大规模模型训练的碳足迹。

    Sep, 2023

  • LeBenchmark: 一个可复现的框架，用于评估自监督语音表示学习

    该论文提出 LeBenchmark，这是一个可重复的框架，用于评估自监督学习从语音到 ASR、语言理解、语音翻译和情感识别的影响，重点关注法语中的语音技术，通过实验表明，SSL 对大多数语音任务都是有益的，但不是所有任务都是。

    Apr, 2021

  • 面向效率的自监督语音表示学习方法

    自我监督学习在计算机视觉、自然语言处理、生物学和语音等多个领域取得突破，然而现有方法的计算成本较高，限制了模型的部署、训练数据集的规模以及拥有大型自我监督模型的研究机构的数量。因此，需要进一步研究以解决自我监督表示学习中高计算成本的问题。

    Dec, 2023

  • 自我训练的端到端语音翻译

    本文主要探讨了在端到端语音翻译中数据稀缺的问题，并提出了一种利用级联和端到端语音翻译模型生成伪标签的方法，在 MuST-C 英法和英德数据集上达到了领先水平，同时也比仅对编码器进行语音识别任务的预训练方法更加有效。最后，通过直接使用端到端模型生成伪标签的自我训练方法证明了其有效性。

    Jun, 2020

  • 通过语音翻译辅助的端到端口语理解

    利用跨语言语音翻译 (ST) 作为预训练任务可提高单语和多语意图分类，口语问答的性能，并探索模型的贝叶斯迁移学习和持续学习惯性。

    May, 2023

  • 利用语音合成训练端到端口语理解模型

    文章提出了一种使用语音合成生成大规模合成数据集的方法，以克服要求领域内语音数据记录的问题，并在两个开源数据集上进行实验证明该方法在作为训练数据的唯一来源和数据扩充形式时的有效性。

    Oct, 2019

  • 基于课程的迁移学习：实现端到端口语理解和领域可移植性

    利用端到端无需繁琐操作的口语理解技术，采用基于课程学习（curriculum learning）原理的迁移学习（transfer learning）策略，结合外域数据来构建全神经元架构。本方法在对法语 MEDIA 和 PORTMEDIA 录音数据的实验中表现优异，相比于传统的基于 ASR、POS 标注、词形还原、组块均取器等自然语言处理工具的多管齐下方法，本方法无需进行繁琐的词性、语法处理即可轻松达成目的，同时具备优秀的领域泛化能力。

    Jun, 2019

  • 面向端到端口语理解的语音模型预训练

    本研究提出了一种新的减少训练数据量的语音理解模型，在预训练中通过预测单词和音素来学习关键特征，并使用新的 SLU 数据集 Fluent Speech Commands 进行实验以测试泛化能力。

    Apr, 2019