Sep, 2023

SLM：填补语音与文本基础模型之间的差距

PDF
TL;DR我们提出了一种联合语音与语言模型（SLM），它是一种多任务、多语种、双模态的模型，充分利用了预训练的语音和语言基础模型。SLM 通过将预训练的基础模型冻结，最大限度地保留它们的能力，并只训练一个只包含 1％（156M）基础模型参数的简单适配器，从而在传统任务（如语音识别和语音翻译）上取得了强大的性能，同时还具备了零 - shot 指导的新颖能力，能够完成包括上下文偏置语音识别、对话生成、语音延续和问答等多样化任务。我们的方法表明，预训练的语音和语言模型之间的表征差距可能比人们预期的要小，并可以通过简单的适应机制来弥合。因此，SLM 不仅训练高效，而且继承了不同模态基础模型已经具备的强大能力。
发现论文，激发创造
  • 使用语音基础模型和大型语言模型的语音翻译：现有的和遗漏的是什么？

    基于已发表论文的研究，本文提出了对迄今为止呈现的架构解决方案和训练策略进行统一观点的基础，并强调它们之间的相似性和差异性，展示了不同的设置和评估方法如何阻碍了每个架构构建块和训练选择的最佳性能解决方案的识别，最后，我们概述了针对该主题的未来工作的建议，旨在更好地理解 SF+LLM 解决方案的优势和劣势。

    Feb, 2024

  • mSLAM：面向文本和语音的大规模多语言联合预训练

    mSLAM 是一种多语言语音和语言模型，通过在多种语言的大量无标记语音和文本上联合预训练学习跨语言跨模式表示。

    Feb, 2022

  • SALM: 基于语境学习的语音增强语言模型用于语音识别和翻译

    我们提出了一种新颖的具有多任务和上下文学习能力的语音增强语言模型（SALM）。SALM 由一个固定的文本语言模型，一个音频编码器，一个模态适配器模块和适应语音输入和关联任务指令的 LoRA 层组成。统一的 SALM 不仅在自动语音识别（ASR）和语音翻译（AST）等特定任务上达到了与 Conformer 基线相当的性能，还展现了零 - shot 的上下文学习能力，通过 ASR 和 AST 的关键词增强任务进行了验证。此外，我们提出了语音监督上下文训练方法，弥合了 LLM 训练和下游语音任务之间的差距，进一步提升了语音到文本模型的上下文学习能力。所提出的模型通过 NeMo 工具包开源。

    Oct, 2023

  • 语音转文本适配器和语音到实体检索器增强的 LLMs 用于语音理解

    本文介绍了一种使用 Speech2Text 适配器的联合语音和语言模型，用于桥接语音和语言表示之间的差距，并改进对话状态跟踪性能（DST），并通过 Speech2Entity 检索器增强了 SLM 的性能。

    Jun, 2023

  • 检索增强的端到端口语对话模型

    我们将先前开发的 SLM 模型应用于语音对话应用中，其中对话状态直接从音频信号中推断，通过检索增强的 SLM（ReSLM）改善了识别领域特定实体的困难，提升了模型性能，特别在对话状态跟踪和具有偏置能力的语音自动识别方面具有广泛适用性。

    Feb, 2024

  • 无监督自动语音识别桥接语音和文本预训练模型

    该研究提出了一种简单高效的无监督语音到语义预训练模型，使用无监督自动语音识别作为连接器，实现了不同任务的语音语言理解，其中包括最近热门的口语问答任务，并在 NMSQA 基准测试中达到了最新的最优结果。

    Nov, 2022

  • DeSTA: 通过描述性语音文本对齐提升语音语言模型

    通过 Descriptive Speech-Text Alignment 方法，本研究提出了一种新型的语音语言模型，可以解释和生成全面的自然语言描述，从而促进对语音的语言和非语言特征的理解，并在 Dynamic-SUPERB 基准测试中展现出卓越性能，尤其是在未见过的任务上的泛化能力，同时发现对齐模型具有零样本指令跟随能力，无需显式调整语音指令，这些发现突显了通过加入丰富的描述性语音字幕来改变指令跟随语音语言模型的潜力。

    Jun, 2024

  • SLAM: 通过语音 - 文本联合预训练实现语音和语言建模的统一编码器

    将无监督预训练应用于语言理解，在语音和文本之间建立单一模型，包括 BERT 目标和 w2v-BERT 目标以及其他预训练技术改进，同时在 GLUE 任务中也取得了不俗的竞争力。

    Oct, 2021

  • 通过语音翻译辅助的端到端口语理解

    利用跨语言语音翻译 (ST) 作为预训练任务可提高单语和多语意图分类，口语问答的性能，并探索模型的贝叶斯迁移学习和持续学习惯性。

    May, 2023

  • ComSL：面向端到端语音转文本的复合语音语言模型

    通过 ComSL 模型的建立，我们将跨模态学习和迁移学习相结合，在多任务学习的框架下进行，有效地实现了端到端的语音转文本翻译任务。在 21 种语言的 CoVoST2 公共数据集的评估中，我们的方法在多语言语音到英文文本翻译任务中实现了新的最高 BLEU 评分平均值 31.5。

    May, 2023