本文研究构建一种“思考如何回应”和“思考如何讲话”的人工智能口语对话系统，相比当前独立的聊天机器人和文本到语音（TTS）模块的级联流水线，更贴近人类语音生成过程。研究使用拥有数十亿参数的大型语言模型（LLMs），展示其在语音理解能力上的潜力，并通过统一的编码格式进一步整合对话回应和各种语言特征。实验结果表明，基于LLM的方法是构建统一口语对话系统的一种有前景的方向。

Sep, 2023

SALMONN是一种语音音频语言音乐开放神经网络模型，集成了预训练的大型语言模型、语音和音频编码器，使得语言模型能够直接处理和理解一般音频输入，并在多项训练任务中取得竞争性表现。SALMONN还具备多种未在训练中出现的跨模态新兴能力，并提出了一种新颖的少样本激活调整方法来激活该模型的这些能力，因此可以被视为具有通用听觉能力的人工智能的一大进展。

Oct, 2023

我们提出了一个基于大型语言模型的生成对话系统，能够以全双工方式运行，并同时处理对话中的听与说任务。

May, 2024

本研究解决了传统语音模型在实时对话中无法进行双向交互的问题，提出了一种名为边说边听语言模型（LSLM）的新型设计，可以同时进行听和说的操作。研究表明，通过中间融合策略，LSLM在噪声环境中表现出色，能够显著提升人机交互的自然性与灵活性，为语音对话系统的发展提供了新的方向。

Aug, 2024

本研究针对现有语言模型在音频模式下实时对话能力不足的空白，提出了迷你全能模型，该模型实现了音频的端到端对话功能。通过文本指导的语音生成方法及批量并行推理策略，显著提升了实时交互的性能，展示了开源模型在语音互动方面的潜力。

Aug, 2024

本研究解决了当前语言模型在实时语音交互中的不足，提出了一种全新的音频端到端对话模型Mini-Omni。通过创新的文本指导语音生成方法和批量并行策略，该模型实现了实时语音交互，并在保持语言能力的基础上显著降低延迟，具有重要的研究潜力。

Aug, 2024

本研究解决了当前对话代理只能进行“半双工”互动的局限，提出了同步大型语言模型(Synchronous LLMs)，实现了全双工对话建模。通过将时间信息集成到Llama3-8b中，并使用合成和真实的对话数据训练，研究表明这一模型在对话意义和自然性上超越了现有技术。

Sep, 2024

本研究解决了大语言模型在语音任务中的局限，提出了Ichigo这一混合模态模型，利用早期融合的方法处理语音与文本的交替序列。研究表明，Ichigo在语音问答基准测试中表现优越，不仅显著减少了延迟，还为小型研究团队在开源语音语言模型领域的贡献提供了新的框架。

Oct, 2024

本研究解决了全双工对话系统中低延迟和自然交互的挑战，尤其是在处理人类对话动态方面。提出的OmniFlatten模型通过三阶段后训练方案，有效适应文本基础的大型语言模型，实现实时生成文本和语音的能力。研究结果表明，该模型为高效自然的端到端全双工语音对话系统的开发提供了新的方向。

Oct, 2024

本研究针对语音到语音对话模型的训练困难，提出了一种名为Freeze-Omni的语音文本多模态大语言模型架构。该模型在训练过程中保持大语言模型冻结，通过三阶段训练策略有效实现了低延迟的自然对话能力，创新性地避免了由于数据不足而导致的灾难性遗忘问题。

Nov, 2024