ICMLJun, 2022

使用 ResNets 和预训练语用学习模型的多任务声音爆发建模

PDF
TL;DR本文介绍了我们在 ICML 表达性声学竞赛中使用的建模方法，其中采用了多种卷积神经网络模型，并且发现 Conformer 模型在该任务中存在潜力，并提出在情感表达、年龄预测和来源国家等子任务方面，使用单任务模型效果更好，质疑了该问题是否真正从多任务的设置中受益。
icmlexvo-multitasksound event detectionconformer modelmultitask setting
发现论文，激发创造
  • ICML 2022 表达性语音化工作坊和赛事：识别、生成和个性化语音爆发

    本文介绍了 ICML Expressive Vocalization (ExVo) 比赛，涵盖三个竞赛项目，利用大规模数据集进行基于多任务模型、生成模型和少样本学习的声音情绪识别。使用最先进的机器学习策略，提供各种竞赛项目的基本性能评估。

    May, 2022

  • 使用自监督转换器的通用语音语音语言表示

    本研究介绍了一种基于 Conformer 架构的自我监督训练的优秀的全语境表示法，应用于多元语音任务，分析了上下文窗口的大小并证明了小窗口仍能取得接近最优表现。

    Oct, 2021

  • 使用 Conformers 的端到端音视频语音识别

    本文提出一种基于混合 CTC / 注意力模型的 ResNet-18 和卷积扩充变压器 (Conformer)，可以进行端到端的训练。在语音识别方面取得了具有突破性的进展，实现了最先进效果。

    Feb, 2021

  • 自监督学习与可学习的 STRFs 用于年龄、情绪和国家预测

    本研究利用多任务学习方法，以基于声音的多任务估计为目标，利用振谱 - 时间调制和自监督特征相结合的方式实现了 country of origin、age 和情感三个任务的一体化处理，并引入了简单的得分融合机制，以提高模型性能。实验结果表明，通过对振谱时间响应和 HuBERT 模型的得分融合，可以实现最佳的测试成绩。

    Jun, 2022

  • 自监督注意力网络和不确定性损失加权在语音突发多任务情感识别中的应用

    本文展示了通过使用自主培训的大型音频模型作为共享特征提取器并结合分类器链和注意力网络框架以及不确定性损失加权策略提高情感声音爆发分类和情感预测的方法，以在 ACII 情感声音爆发竞赛中显著优于基准结果的结果。

    Sep, 2022

  • 基于 Conformer 的鲁棒自动语音识别模型

    本研究采用基于 Conformer 的声学模型解决了自动语音识别中的鲁棒性问题，并在 CHiME-4 语料库的单声道 ASR 任务中经过测试，其使用 utterance-wise 归一化和说话人自适应的方式，相比经典的 wide residual 双向长短时记忆网络，减小了 18.3% 的模型大小，训练时间减少了 79.6％且相对误差率比 WRBN 低 8.4%。

    Mar, 2022

  • Burst2Vec: 一个对抗性多任务方法，用于从声音爆发中预测情感、年龄和来源

    Burst2Vec 使用预训练的语音表示法和对抗性训练来捕捉原始波形中的声学信息，并实现了从声音短暂的预测情感、年龄和来源的多任务学习方法，相比使用预先提取的特征的基线，我们的模型取得了相对 30% 的性能提高，并在 ICML ExVo 2022 多任务挑战赛中成为所有参赛者中得分最高的。

    Jun, 2022

  • 用于口语识别的预训练方法：TalTech 在 OLR 2021 挑战赛中的提交

    本文研究了口语语言识别的不同预训练方法，并基于我们在东方语言识别挑战赛 2021 中的提交，参与了有约束和无约束的语言识别的两个任务。我们主要使用 Conformer-based 编码器 - 解码器模型和 XLSR-53 wav2vec2.0 模型作为端到端的系统，这些模型都包含有前置的预训练网络。

    May, 2022

  • 意外学习者：多语言自监督模型中的口语识别

    本文通过采用 Conformer 架构，在多语言预训练模型中扩展了以往的自监督方法，我们发现预训练的语音模型最佳地在底层编码语言的区分信息。进一步地，我们证明了从这些层获取的嵌入对于分类未见过的语言和不同的声学环境具有显著的鲁棒性，无需额外的训练。在 VoxLingua107 数据集上微调预训练的 Conformer 模型后，我们实现了类似于语言识别当前最先进系统的结果。此外，我们的模型参数比当前系统少了五倍，并通过 NVIDIA NeMo 工具包开源了该模型。

    Nov, 2022

  • Conformer-1：通过大规模半监督引导实现鲁棒性自动语音识别

    本论文介绍了 Conformer-1，一种端到端的自动语音识别（ASR）模型，它是在一个包含 570k 小时的语音音频数据的广泛数据集上训练的，其中 91％是从公开来源获取的。通过在未标记的公共数据上使用强大的 Conformer RNN-T 基线模型生成伪标签，我们进行有噪声学生训练。这些伪标记数据的添加使我们的异步和实时模型在相对词错误率（WER）上分别提高了 11.5％和 24.3％。此外，由于添加了这些数据，该模型对背景噪声更具鲁棒性。本研究取得的结果表明，将伪标签的公开可用数据纳入 ASR 精度和噪声鲁棒性的改进中是一种非常有效的策略。

    Apr, 2024