我们提出了一种联合语音与语言模型（SLM），它是一种多任务、多语种、双模态的模型，充分利用了预训练的语音和语言基础模型。SLM 通过将预训练的基础模型冻结，最大限度地保留它们的能力，并只训练一个只包含 1％（156M）基础模型参数的简单适配器，从而在传统任务（如语音识别和语音翻译）上取得了强大的性能，同时还具备了零 - shot 指导的新颖能力，能够完成包括上下文偏置语音识别、对话生成、语音延续和问答等多样化任务。我们的方法表明，预训练的语音和语言模型之间的表征差距可能比人们预期的要小，并可以通过简单的适应机制来弥合。因此，SLM 不仅训练高效，而且继承了不同模态基础模型已经具备的强大能力。

Sep, 2023

我们介绍了一种新颖有效的语音翻译模型 LLM-ST，它基于预训练的大型语言模型（LLM），通过将 LLM 与语音编码器集成并使用多任务指导调优，LLM-ST 能够准确地生成带时间戳的转录和翻译，甚至可以处理长时间的音频输入。此外，我们的研究结果表明，在 LLM-ST 的环境下使用 CoT 提示可以带来优势。通过对英语和中文数据集的严格实验，我们展示了 LLM-ST 的卓越性能，在语音翻译领域树立了新的基准。演示：this https URL

Dec, 2023

我们建立了语音处理通用性能基准（SUPERB），使用冻结的基础模型和任务专门化的轻量级预测头，证实了基础模型范式在语音处理中的潜力和我们的多任务框架的简单而有效性，具备竞争力的泛化能力。我们还进行了一系列分析，深入了解 SUPERB 和语音基准模型，包括模型内任务之间的信息流动，加权求和基准测试协议的正确性以及基准测试的统计显著性和稳健性。

Apr, 2024

本书提供了基础模型的研究和应用的综述，介绍了预训练语言模型 BERT、GPT 和序列到序列变换，并讨论了改进这些模型的不同方法，以及 20 个应用领域中表现最佳的模型。

Feb, 2023

介绍了一种使用大型语言模型进行机器翻译的流水线，用于扩展语音助手系统的口语理解模型，提高了多语言场景和设备本地场景下的整体准确率。

Apr, 2024

通过对多个受监督和自监督 SFMs 进行广泛评估，我们发现，尽管受监督的 SFMs 在语音识别数据上已经进行了预训练（带有标签），但并不总是表现优于自监督的 SFMs；后者在 SLUE 的序列生成任务上往往至少与受监督的 SFMs 表现一样出色，有时甚至更好。对于大多数任务来说，复杂预测头的性能最佳，尽管会增加推理时间。我们还引入了一个开源工具包和性能排行榜 SLUE-PERB，用于这些任务和建模策略。

Jun, 2024

通过对基础模型在真实世界机器人应用中替换现有组件的主要影响进行概述，本文总结了基础模型在机器人领域中输入输出关系的观点，以及它们在感知、运动规划和控制方面的作用，并讨论了未来挑战和对实际机器人应用的影响。

Feb, 2024

综述着重探究语言模型的历史背景、发展过程、因素、原理、现有工作的局限以及未来发展方向，为广大读者提供一个可理解的综合概述。

Feb, 2024

利用大型语言模型的丰富语言知识和强大的推理能力，我们提出了一种新的生成式翻译范式 ——“GenTranslate”，可以从 N 个候选译文中生成更高质量的翻译结果，并且在各种语音和机器翻译基准测试中明显优于现有模型。

Feb, 2024

大型基础模型的资源挑战是一个重要问题，本调研综合分析了现有文献修复切片从模型架构到资源策略的多个方面，为理解当前方法和激发未来突破提供了全面的观点。

Jan, 2024