Jun, 2024

混合监督语音处理的预训练大型语言模型的离散多模态变换器

PDF
TL;DR本文介绍了一种仅有解码器的离散多模态语言模型（DMLM），可以灵活应用于多个任务（ASR，T2S，S2TT 等）和模态（文本，语音，视觉），并探索了离散多模态模型的几个关键方面，包括损失函数、权重初始化、混合监督训练和码本。结果表明，通过组合监督和无监督训练，DMLM 在多个任务和数据集上显著受益。此外，对于 ASR，它从预训练的大型语言模型（LLM）和由 Whisper 激活导出的码本中受益。
discrete speech tokenizationmultimodal language modelasrt2ss2tt
发现论文，激发创造
  • 多模态大型语言和视觉模型综述

    通过对具有多模态能力的 LLM 和 MM-LLM 的当前状况进行广泛回顾，本文涵盖了 LLM 的历史发展、注意力机制在提升模型性能方面的作用，以及 Fine-tuning 和 prompt engineering 等模型调整技术。同时还分析了伦理考虑和挑战，并讨论了开源和专有模型在 AI 研究中的影响。通过这个综述，我们揭示了 MM-LLM 在各种应用中的转型潜力。

    Mar, 2024

  • MMSpeech: 面向语音识别的多模态多任务编码器解码器预训练

    该论文提出了一种新的多模态多任务编码 - 解码器预训练框架 (MMSpeech), 用于汉语自动语音识别 (ASR), 该框架同时使用了未标注语音和文本数据，其中引入了音素模态来帮助捕捉汉语音频和文本之间的模态不变信息。通过在 AISHELL-1 数据集上的实验，该方法实现了最先进的性能，较其他预训练方法相对提高了超过 40%。

    Nov, 2022

  • 多模态方法在大型语言模型中的设备导向语音检测

    虚拟助手的交互通常以预定义的触发短语作为开端，我们探索是否可以放弃用户必须以触发短语开始每个指令的要求。通过三种方式进行实验：首先，只使用从音频波形中获得的声学信息来训练分类器；其次，将自动语音识别（ASR）系统的解码器输出，如 1 最佳假设，作为大型语言模型（LLM）的输入特征；最后，探索结合声学和词汇特征以及 ASR 解码器信号的多模态系统。使用多模态信息相对于仅文本和仅音频的模型，在等误差率上可以获得高达 39% 和 61% 的改进。增加 LLM 的规模，并使用低秩适应来进行训练，在我们的数据集上进一步降低了相对误差率高达 18%。

    Mar, 2024

  • 将预训练语言模型提炼为多语言自动语音识别模型

    本研究提出了一个名为 Distill-L2S 的新方法，将一个已经训练好的跨语言语言模型转移到语音识别模型中，通过该方法在 20 种低资源语言中达到了优越性能。

    Jun, 2022

  • 多模式大型语言模型综述

    本文旨在追踪和总结 MLLM 的最新进展，包括 MLLM 的公式，技术和应用，以及现有的挑战和有前途的研究方向。

    Jun, 2023

  • 去噪语言模型：将错误修正模型推向语音识别极限

    使用大量合成数据进行训练的缩放误差校正模型 (Denoising LM) 在自动语音识别 (ASR) 系统中实现了最先进的性能表现，通过合成语音进入 ASR 系统并与原始文本配对训练，DLM 取得了 1.5% 的单词错误率 (WER) 以及在 Librispeech 上新的 ASR 性能记录，并展示了取代传统语言模型的潜力。

    May, 2024

  • 跨可转移的语音转文大型语言模型对齐模块

    利用大型语言模型（LLMs）和语音基础模型，先进的语音 - 文本双模工作可以实现复杂的任务，如口语翻译（ST）和问题回答（SQA），同时具有更简单的结构。本文利用 Whisper 编码器和预训练的 Yi-6B 的功能，通过经验结果发现，使用一个层的模块和百小时的语音 - 文本多任务语料库可以实现模态对齐。我们在推理过程中进一步交换 Yi-6B 为与人类偏好相符的 Yi-6B-Chat 版本，发现模态对齐能力同样适用。此外，奇异值分解（SVD）揭示的对齐子空间还意味着线性对齐子空间是稀疏的，这为连接其他特征（如声纹或视频）以扩展模态性留下了可能性。

    Jun, 2024

  • 多模态大语言模型（MM-LLMs）的最新进展

    综述了过去一年多模态大型语言模型（MM-LLMs）的进展，提供了对 MM-LLMs 的全面调查，包括模型架构和训练流程的设计概述，介绍了 26 种不同形式的 MM-LLMs，并回顾了其在主流基准上的性能以及提升其效力的关键训练方法，同时探索了 MM-LLMs 领域的前景方向。

    Jan, 2024

  • 深度相互学习的端到端自动语音识别

    本论文首次将深度相互学习（DML）应用于端到端自动语音识别模型，通过与标签平滑、定量采样和音频增强等近期代表性训练技术相结合，提高了大规模建模和紧凑建模的日语语音识别任务的性能表现。

    Feb, 2021

  • MM1: 多模态 LLM 预训练的方法、分析与洞察

    讨论构建出色的多模态大型语言模型的重要组成部分和数据选择，通过仔细和全面的分析，证明了使用图像 - 标题、交错图像 - 文本和仅文本数据进行大规模多模态预训练对于在多个基准测试中实现最新成果至关重要。通过扩展所提出的模型，构建了以稠密模型和专家混合模型为特征的 MM1 系列多模态模型，这些模型在预训练指标上取得最新成果，并在一系列已建立的多模态基准测试中实现了有竞争力的性能。

    Mar, 2024