Jan, 2024

面向任务的对话作为自我监督的自动语音识别催化剂

PDF
TL;DR通过对话的对比学习方法，在不成功的对话中发现易于检测的问题，从而提高自动语音识别模型在任务导向对话中的性能。
automatic speech recognitionnatural language understandingcontrastive learningconversationself-supervised learning
发现论文，激发创造
  • 对比学习：提高口语理解的 ASR 鲁棒性

    本文提出了一种利用对比目标、监督对比学习和自蒸馏相结合的方法来学习对语音识别中的错误具有鲁棒性的话语表示，并进一步增强了其泛化能力。在三个基准数据集上的实验表明了我们提出的方法的有效性。

    May, 2022

  • 基于对比学习和一致性学习的神经噪声通道模型在口语理解中的应用

    基于语音识别的自然语言理解方法和两阶段的对比一致性学习模型能够提高在不同噪声环境下的自动语音识别的鲁棒性。

    May, 2024

  • ML-LMCL：提升口语理解中自动语音识别鲁棒性的相互学习和大边界对比学习

    通过互相学习和大间距对比学习，提出一种新的框架 ML-LMCL 来提高自动语音识别在对话系统中口语理解的鲁棒性。通过在手动转录和自动识别转录之间共享知识，引入距离极化正则化器以尽量避免推开簇内成对样本，使用周期性退火调度缓解 KL 关于消失问题，并在三个数据集上表明 ML-LMCL 模型胜过现有模型并获得最新的性能。

    Nov, 2023

  • ASR 纠错和语言理解的联合上下文建模

    该研究提出了一种多任务神经网络方法，通过对话系统中的语音识别输出进行上下文语言纠正和语言理解以改善两个任务的性能，从而提高自动语音识别的质量。

    Jan, 2020

  • 通过学习对话层特征实现对话式语音识别

    本文提出一种基于端到端神经网络框架的会话自动语音识别模型，该模型使用潜变量模块来学习会话级别的角色偏好和主题连贯性，并使用一个主题模型来偏置解码器的输出，以预测主题中的单词。在两个汉语会话自动语音识别任务上的实验表明，该模型实现了最大 12% 相对字符错误率的降低。

    Feb, 2022

  • 从有缺陷的数据中学习：弱监督的自动语音识别

    使用 Omni-temporal Classification（OTC）训练自动语音识别（ASR）模型，可以有效地学习语音文本对齐并适应训练文本中的错误，从而避免在包含高达 70% 错误的文本情况下出现性能下降，与 CTC 模型完全失败的情况不同。

    Sep, 2023

  • 具有 ASR 错误的对话式交互中的稳健非结构化知识访问

    该研究的主要目的是通过使用自动语音识别 (ASR) 中的错误模拟器实现对清洁训练文本进行随机破坏，从而提高口头语言理解 (SLU) 的鲁棒性，结果表明该方法可以显著提高知识选择及分类产生的结果。

    Nov, 2022

  • 学习澄清：基于行动对比自我训练的多轮对话

    Action-Based Contrastive Self-Training (ACT) is a quasi-online preference optimization algorithm that improves conversation modeling in large language models (LLMs), particularly in the area of disambiguation and dialogue policy learning.

    May, 2024

  • 口语问答自学习的自监督对话学习

    本研究通过自监督学习方式，包括不连贯性识别，插入检测以及问题预测，明确捕捉口语对话文档之间的指代消解和对话连贯性，提高了口语对话的意义和连贯性。在 Spoken-CoQA 数据集上取得了最先进的结果。

    Jun, 2021

  • 通过上下文学习和词混淆网络实现 ASR 鲁棒性口语语言理解

    通过使用自动语音识别系统的网络输出来弥补语音模糊性，增强口语语言理解的结果，通过对置信网络的词语混淆进行实验，研究大型语言模型对嘈杂的语音转录本的鲁棒性，探讨在不同自动语音识别性能条件下的影响因素。

    Jan, 2024