ACLMay, 2023

CIF-PT：通过连续的集成和火预训练将语音和文本表示桥接到口语语言理解中

PDF
TL;DR提出了一种名为 CIF-PT 的新的预训练范式，通过连续整合与火预训练 (CIF) 来弥合语音和文本之间的表示，其在语音理解任务中的表现优于最新的模型，交叉模态表示的性能也更好。
continuous integrate-and-fire pre-trainingspoken language understandingcross-modal representationneural interfacesself-supervised pre-training
发现论文，激发创造
  • CIF: 端到端语音识别的连续积分与火模型

    本文提出了一种新颖的软单调对齐机制连续积分与火模型，用于序列传导且支持不同 ASR 方案、在线识别和声学边界定位，在一些支持策略的帮助下它表现良好，尤其在中文电话 ASR 基准测试上，取得了 2.86％的字错率，创造了新的最佳记录。

    May, 2019

  • 探索连续积分 - 火式神经元在自适应同声翻译中的应用

    本文提出了一种模型，通过采用连续集成与发射（CIF）方法，以适应策略来改进预判，从而在实时的语音翻译中取得更好的性能，实验结果表明其优于多头注意力（MMA）方法，并且具有更好的对长话语的泛化能力。

    Mar, 2022

  • 使用连续标记界面集成预训练网络进行端到端口语理解

    本文提出了一种简单而健壮的端到端 SLU 模型所需的连续 Token 接口（CTI），从而使 ASR 和 NLU 网络获得网络集成。 在确保仅使用预训练的网络时，我们在 E2E 方式下训练 SLU 网络，并在多任务学习下对异构数据进行培训，并在意图分类和插槽填充任务上实现最先进的性能。

    Apr, 2021

  • 通过分层蒸馏将预训练语言模型中的知识转移到基于 Cif 的语音识别器

    该论文研究了如何利用预训练语言模型来提高自动语音识别的性能，提出了基于分层知识蒸馏的方法，并使用交叉模态蒸馏和对比损失以及回归损失来跨语言层面和声学层面校准自动语音识别模型，实现了相对误差率降低 15％，并且达到了同类最先进模型的性能。

    Jan, 2023

  • 通过语音翻译辅助的端到端口语理解

    利用跨语言语音翻译 (ST) 作为预训练任务可提高单语和多语意图分类，口语问答的性能，并探索模型的贝叶斯迁移学习和持续学习惯性。

    May, 2023

  • 语音翻译和识别的统一语音文本预训练

    本文描述了一种使用编码器 - 解码器建模框架来联合预训练语音和文本用于语音翻译和识别的方法，其中包括四个自监督和有监督的子任务以进行跨模态学习，其贡献在于将文本语料库中的语言信息整合到语音预训练中。

    Apr, 2022

  • 面向端到端口语理解的语音模型预训练

    本研究提出了一种新的减少训练数据量的语音理解模型，在预训练中通过预测单词和音素来学习关键特征，并使用新的 SLU 数据集 Fluent Speech Commands 进行实验以测试泛化能力。

    Apr, 2019

  • SpeechLM: 用非配对文本数据增强的语音预训练

    提出了一种跨模态的语音和语言模型，使用两种不同的离散标记器来处理语音和文本模态，取得了优异的成绩，尤其表现出色的是在 CoVoST-2 语音翻译任务上。

    Sep, 2022

  • SLAM: 通过语音 - 文本联合预训练实现语音和语言建模的统一编码器

    将无监督预训练应用于语言理解，在语音和文本之间建立单一模型，包括 BERT 目标和 w2v-BERT 目标以及其他预训练技术改进，同时在 GLUE 任务中也取得了不俗的竞争力。

    Oct, 2021

  • 无监督自动语音识别桥接语音和文本预训练模型

    该研究提出了一种简单高效的无监督语音到语义预训练模型，使用无监督自动语音识别作为连接器，实现了不同任务的语音语言理解，其中包括最近热门的口语问答任务，并在 NMSQA 基准测试中达到了最新的最优结果。

    Nov, 2022