Jun, 2023

用对比学习增强统一流式和非流式模型

PDF
TL;DR本论文通过对比目标法，缩小流式模式和非流式模式间的固有差距，提高了统一模型的准确性，在 AISHELL-1 基准测试中达到了 CER 值 4.66%（流式模式）和 4.31%（非流式模式），创造了新的最高记录。
unified modelspeech recognitionstreamingnon-streamingcontrastive objective
发现论文，激发创造
  • 语音识别统一流式和非流式两遍端到端模型

    本文提出了一种新颖的两步方法，用于将流式和非流式端到端（E2E）语音识别统一到单个模型中，该模型采用混合 CTC /attention 架构，在编码器的 conformer 层进行修改，并且在推理时，CTC 解码器以流式方式生成 n 个最佳假设，然后通过注意力解码器进行重评分以得到最终结果，并且在 AISHELL-1 测试集上，基于提出的方法的统一模型相对于标准的非流式 transformer，实现了 5.60％的相对字符错误率（CER）降低，在流式 ASR 系统中实现了 640ms 的延迟。

    Dec, 2020

  • 多解码器与知识蒸馏的流式与非流式自动语音识别的联合优化

    本文通过使用多解码器和知识蒸馏来实现流式和非流式自动语音识别（ASR）的联合优化，主要研究了 ASR 模块的编码器整合、分离解码器以实现灵活切换模式，以及通过两个模块化编码器和解码器之间的相似性保持知识蒸馏来提高性能。评估结果显示，在单一模型中与多个独立模块相比，流式 ASR 的字符错误率相对减少了 2.6%-5.3%，非流式 ASR 的字符错误率相对减少了 8.3%-9.7%。

    May, 2024

  • 基于对比学习和一致性学习的神经噪声通道模型在口语理解中的应用

    基于语音识别的自然语言理解方法和两阶段的对比一致性学习模型能够提高在不同噪声环境下的自动语音识别的鲁棒性。

    May, 2024

  • 对比学习句向量的非语言监督

    本文提出了一种多模态多任务的 Transformer 模型，通过对句子和非语言数据对比学习的方式来提高句子编码器的性能，并在基准测试中获得了更高质量的语义文本相似性结果。

    Sep, 2022

  • 通过自修剪学习双模式语音识别模型

    该研究旨在通过 Omni-sparsity supernet 方法联合训练一个紧凑稀疏的流式 ASR 模型和一个大型密集的非流式服务器模型，进而提高现有 ASR 模型的性能。

    Jul, 2022

  • 跨模态对比学习用于语音翻译

    本文提出了一种名为 ConST 的跨模态对比学习方法，用于端到端的语音到文本翻译，并在流行基准数据集 MuST-C 上对其进行了评估和比较。实验结果表明，相比之前的方法，该方法在不同模态语音 - 文本之间实现了更高的精确度和平均 BLEU 达到了 29.4。同时分析结果进一步证明了 ConST 获得了更好的表示学习结果。

    May, 2022

  • 基于自监督的骨架行为识别的跨流对比学习

    本文提出了一种基于骨架的自监督动作识别框架，采用跨流对比学习来设计硬样本对，结合积极变换策略，提高了对复杂动作模式的处理能力，并表现出优于三个基准数据集的效果。

    May, 2023

  • 双模 ASR: 统一与改进全上下文流式 ASR 模型

    该研究提出了一种统一框架的双模 ASR（自动语音识别），通过权重共享和全场景 ASR 的联合训练，特别是在训练期间进行知识蒸馏，使流式 ASR 的延迟和准确性得到明显改善。该框架适用于最新的卷积和变压器 ASR 网络，并在 LibriSpeech 和 MultiDomain 数据集上进行了广泛实验和削减研究，取得了新的流式 ASR 结果。

    Oct, 2020

  • 将对比损失和非对比损失相结合，以微调预训练的语音分析模型

    本研究提出了一种改进内部嵌入空间和使用对比和非对比损失的适配器来处理类内差异的方法，并将其应用于情感分类问题，发现本方法在多个任务上均优于端到端微调基线，并超过最先进的情感分类基准。

    Oct, 2022

  • 对比学习：提高口语理解的 ASR 鲁棒性

    本文提出了一种利用对比目标、监督对比学习和自蒸馏相结合的方法来学习对语音识别中的错误具有鲁棒性的话语表示，并进一步增强了其泛化能力。在三个基准数据集上的实验表明了我们提出的方法的有效性。

    May, 2022