通过 SpeechVerse 多任务训练和课程学习框架，将预训练的语音和文本基础模型结合，使用连续潜在表示对模型进行指令微调，实现在各种自然语言指令下在多样的语音处理任务上实现最优的零样本性能。经过广泛的基准测试，我们的 SpeechVerse 模型表现出更高的性能，甚至超过了 11 个任务中的 9 个常规任务特定基准模型。

May, 2024

通过引入词汇翻译机制并使用多种词典学习算法来初始化这种机制，可以提高序列建模任务的系统化泛化能力。

Jun, 2021

本研究提出了 VioLA 模型，它是一个单自回归 Transformer 解码器网络，通过多任务学习框架，将涉及语音和文本的各种跨模态任务统一为条件编解码器语言模型任务。该模型通过离线神经编解码器将所有语音话语转换为离散标记，进而将所有任务转换为基于标记的序列转换问题，进而自然地使用一个条件语言模型处理。研究表明，VioLA 模型可良好地支持单模和跨模任务，并且解码器模型优于强基线性能。

May, 2023

通过 Linguacodus 框架，将自然语言描述无缝转化为可执行代码，实现了自动化代码生成，为机器学习在各个领域的应用带来了巨大的潜力。

Mar, 2024

本文研究提出了一种通用多语言模型的框架，该框架利用深度学习架构实现语音助手设备的自然语言理解，显著减少了单独开发每种语言模型所需要的努力和维护成本，并在多语种环境下取得了比单语种环境下更好的研究成果。

Dec, 2020

通过民主化模型交互并推动大规模神经网络领域的更加包容性研究，FlexModel 提供了与分布在多个 GPU 和多节点配置上的模型进行交互的简化界面。

Dec, 2023

我们提出了 PolyVoice，这是一个基于语言模型的语音 - 语音翻译（S2ST）系统，利用离散化语音单元实现对未书写语言的翻译。在语音合成方面，我们采用现有的 VALL-E X 方法构建基于单元的音频语言模型来保留原始语音的音色特征和语音风格。实验结果表明，我们的系统可以生成高质量翻译和音频质量的语音。

Jun, 2023

提出了一种视觉 - 语言坐标时间序列新闻推荐方法，基于预训练的多模型编码器，应用自注意力网络学习时间顺序。通过构建的大规模多模式新闻推荐数据集 V-MIND 验证了该方法的优越性。

Oct, 2022

LinguaLinked 是一种分散、分布式的移动设备上的 LLM 推理系统，它通过优化模型分配、优化数据传输机制和运行时负载平衡器来提高系统的效率和响应速度。

Dec, 2023

本文介绍了 Lingua Manga 这一使用预训练大型语言模型的通用数据管理系统，该系统提供自动优化并适用于各种技术水平的用户。通过三个应用案例的演示，证明了 Lingua Manga 可以有效地帮助编程高手和低代码用户应对数据管理挑战。

Jun, 2023