EMNLPSep, 2021

基于 BERT 的语言模型在口语转录中学习的实证研究

PDF
TL;DR本文介绍了将自然语言处理的特性应用于口语语言理解上，包括不同的话语特征和多模态表现。该文尝试拆解口语的语言障碍和多重意思，并探讨了 BERT 和 RoBERTa 语言模型对 SLU 的适应性和局限性。文中还验证了语言模型对话语特征的表现，尤其是对于声学提示较少的语音模型的成果。
language modelsspoken language understandingmultimodal behaviorsbertconversational properties
发现论文，激发创造
  • 利用大型语言模型攫取 ASR 不确定性

    利用 n-best 列表提示方法，我们改善了基于大型语言模型的口语理解任务，使其能够更好地理解口语意图并应用于基于语音的应用。

    Sep, 2023

  • LLM 在口语对话中的稳健性研究

    使用 LLM（Large Pre-Trained Language Models）评估了在口语任务导向对话中的性能，结果表明 LLMs 默认情况下对口头噪音不够鲁棒，但在正确的口头 TOD 数据集上进行微调 / 训练可以获得更强的性能。

    Jan, 2024

  • WaBERT：用于口语理解和语音到 BERT 对齐的低资源端到端模型

    本文提出了一种新颖的 Wave BERT（WaBERT）端到端模型，将语音模型和语言模型相结合，以用于口语理解任务，提高了语音特定信息和语言知识在短时间和低资源训练过程中的整合，从而在 SLUE SA 任务的开发数据集上将召回得分提高了 1.15％，F1 得分提高了 0.82％，此外还修改了序列连续整合和放电（CIF）机制，以实现语音和文本模态之间的单调对齐。

    Apr, 2022

  • 自监督语音和语言模型预训练的半监督口语理解

    本文提出了一种基于半监督学习的、使用预先训练的端到端自动语音识别（E2E ASR）和自监督语言模型（如 BERT）进行微调的通用语义理解框架，该框架可从转录或未转录的语音中直接学习语义来解决一些 SLU 模型中的问题，如 ASR 错误、意图预测而不是词槽预测以及在大量训练数据不足的情况下训练。实验结果表明，该框架对于语义理解可以与使用 Oracle 文本作为输入的模型相媲美，具有良好的环境噪声鲁棒性，并且在训练集有限的情况下也能达到较好的效果。

    Oct, 2020

  • 健壮口语理解的多模态音文结构

    本文研究了基于现有自然语言理解模型的语音助手中由自动语音识别误差引起的性能损失，并提出一种多模态语言理解模块，利用自监督学习从语音和文本模态中获取特征，最终通过对音频信号和文本传输进行编码来获得更好的性能。

    Jun, 2023

  • 通过语音翻译辅助的端到端口语理解

    利用跨语言语音翻译 (ST) 作为预训练任务可提高单语和多语意图分类，口语问答的性能，并探索模型的贝叶斯迁移学习和持续学习惯性。

    May, 2023

  • 大型语言模型在扩展口语理解系统到新语言方面的应用

    介绍了一种使用大型语言模型进行机器翻译的流水线，用于扩展语音助手系统的口语理解模型，提高了多语言场景和设备本地场景下的整体准确率。

    Apr, 2024

  • 探索大型语言模型与自动语音识别系统的整合：实证研究

    本文旨在探讨将大型语言模型（LLMs）集成到自动语音识别（ASR）系统中以提高转录准确性的潜力，并通过实验表明在当前阶段，使用 LLMs 的上下文学习能力来修正语音识别转录中的潜在错误仍然是一项具有挑战性的任务。

    Jul, 2023

  • UniverSLU：适用于多样化分类和序列生成任务的通用口语理解单网络

    通过利用大型语言模型与多任务能力展示有希望的结果，我们构建了一个名为 UniverSLU 的单一多任务学习模型，它在 12 个语音分类和序列生成任务、17 个数据集和 9 种语言上展现出了竞争性的性能并且超过了特定任务模型。同时，我们还初步探索了使用人类可解释的自然短语代替任务限定词作为离散提示，并测试了该模型对新的释意表达的泛化能力。

    Oct, 2023

  • 基于 BERT 的多语种口语理解中，语言边界能模糊到何种程度？

    本文提出了一种基于 BERT 的多语种口语理解模型，能够跨越远程语言组进行知识转化，但与理想的多语种性能之间仍然存在差距。此外，我们还提出了一种新的基于 BERT 的对抗模型架构，以学习多语种口语理解的共享和特定语言表示。实验结果表明，所提出的模型能够缩小至理想的多语种性能之间的差距。

    Nov, 2020