Oct, 2023

调整大型语言模型用于端到端语音翻译

PDF
TL;DR本研究提出了 LST，一个大型多模型，旨在优化端到端语音翻译任务的性能并创造新的技术水平。在 MuST-C 语音翻译基准测试中，LST-13B 取得了 30.39/41.55/35.33 的 BLEU 分数，超过了之前的模型并树立了新的最新技术水平。此外，还进行了单模型选择和训练策略对结果的影响的深入分析，为未来的研究奠定了基础。
large language modelsmultimodal modelsend-to-end speech translationlststate-of-the-art
发现论文，激发创造
  • ST-BERT：跨模态语言模型预训练用于端到端口语理解

    本文介绍了一种跨模态预训练语言模型 ——Speech-Text BERT（ST-BERT），通过两种预训练任务（Cross-modal Masked Language Modeling and Cross-modal Conditioned Language Modeling）学习上下文跨模态对齐，对端到端的口语语言理解任务进行了解决，实验结果证明，该方法有效。同时，我们的方法通过使用特定于域的语音文本对数据进行域自适应预训练来提高 SLU 性能的表现。

    Oct, 2020

  • 大语言模型的语音翻译：一个工业实践

    我们介绍了一种新颖有效的语音翻译模型 LLM-ST，它基于预训练的大型语言模型（LLM），通过将 LLM 与语音编码器集成并使用多任务指导调优，LLM-ST 能够准确地生成带时间戳的转录和翻译，甚至可以处理长时间的音频输入。此外，我们的研究结果表明，在 LLM-ST 的环境下使用 CoT 提示可以带来优势。通过对英语和中文数据集的严格实验，我们展示了 LLM-ST 的卓越性能，在语音翻译领域树立了新的基准。演示：this https URL

    Dec, 2023

  • 多语言端到端语音翻译

    本文提出了一种简单且有效的多语言端到端语音翻译框架，并证明了其在自动语音识别、机器翻译、一对多翻译以及多对多翻译中的有效性以及相对于双语端到端语音翻译的优势。

    Oct, 2019

  • 通过跨模态多粒度对比学习提高语音翻译质量

    该论文提出了一种 FCCL 方法，通过跨模态多粒度对比学习来实现显式知识转移，该方法在多语言和多粒度上显著优于 E2E-ST 基线，有助于提取包含丰富语义信息的语音表示。

    Apr, 2023

  • 基于形式不可知元学习的数据高效直接语音翻译

    本文提出了一种基于元学习算法采用模态不可知的多任务模型，将源任务 ASR + MT 的知识转移到目标任务 ST 中，以应对 ST 任务短缺数据的问题，该方法在英德和英法语音翻译任务中取得了最新的最佳性能结果。

    Nov, 2019

  • 弥合语音到文本翻译的模态差距

    提出了一种称作 STAST 的语音转写自适应模型，通过分离语音翻译编码器为三个部分以及引入跨模态自适应方法来缩小语音和文本的模态差距，进而在英法和英德语音翻译数据集上实现了显著的性能优越。

    Oct, 2020

  • 多语言一对多端到端语音翻译

    本文旨在通过使用多语言方法探究转移学习在以端到端神经模型进行口语翻译中的有效性，结果表明，使用目标语言嵌入语义空间可以更有效地区分不同目标语言并改进结果，其中当对相似语言进行翻译时效果更为显著，特别是数据不足的情况下。

    Oct, 2019

  • 通过语音翻译辅助的端到端口语理解

    利用跨语言语音翻译 (ST) 作为预训练任务可提高单语和多语意图分类，口语问答的性能，并探索模型的贝叶斯迁移学习和持续学习惯性。

    May, 2023

  • 通过将多模态视为外语来引导先进的大型语言模型

    本文提出了一种名为 X-LLM 的多模态语言模型，它将多种形式的信息转化为语言输入到 ChatGLM 中进行处理，实现了语言模型的多模态能力，具有与 GPT-4 相当的人工智能水平，同时还能用于语音识别和多模态语音识别。

    May, 2023

  • 基于流式端到端模型的大规模多语言语音识别

    本文介绍了一种使用条件向量和针对语言的适配器层结合的多语言端到端模型，取得了比单语言模型和传统模型都更低的语音识别误差率。

    Sep, 2019