Jun, 2024

超越回合制游戏：利用 Duplex 模型实现实时对话

PDF
TL;DR大型语言模型的双工模型可以实现用户和 AI 的实时对话，通过时间分割多路复用和动态调整，提供即时反馈，改进了用户满意度。
large language modelsduplex modelsreal-time interactionstime-division-multiplexinguser-ai interactions
发现论文，激发创造
  • 基于大型语言模型的全双工语音对话方案

    我们提出了一个基于大型语言模型的生成对话系统，能够以全双工方式运行，并同时处理对话中的听与说任务。

    May, 2024

  • 双工对话：朝着口语对话系统人类化交互的方向

    该研究提出了全双工对话系统，结合多模态识别和半监督学习，实现多轮人机对话交互，该系统在阿里巴巴智能客服中的 A/B 测试中表现出 50％响应延迟的显著降低。

    May, 2022

  • BotChat: 评估 LLMs 在进行多轮对话方面的能力

    利用 GPT-4 对人类风格的多轮对话进行评估，发现大语言模型在生成多轮对话方面具有出色的质量，明显优于其他模型。

    Oct, 2023

  • 将实时互动会话建模为定时记录的转录

    使用预训练的纯文本语言模型，通过建模定时记录的转录文本并使用因果拒绝采样进行解码，我们提出了一种简单但通用的方法来模拟实时互动对话。我们通过两个案例研究（即即时通讯对话和口语交流）展示了该方法的潜力，这些案例研究需要分别以约 30 tok/s 和 20 tok/s 的速率生成文本以保持实时互动。这些功能可以使用相对较少的数据添加到语言模型中，并在商品硬件上运行。

    May, 2024

  • DuetSim: 使用双大型语言模型构建面向任务对话的用户模拟器

    DuetSim 是一个利用大型语言模型的创新框架，通过采用两个语言模型来生成任务导向的对话，既增加了回答的多样性又提高了准确性，通过在 MultiWOZ 数据集上的实验证实了其效果。

    May, 2024

  • 基于 LLM 的多轮对话系统的最新进展综述

    本研究综述了基于大型语言模型 (LLMs) 的多轮对话系统的研究进展，包括适应 LLMs 到下游任务的方法，最近在多轮对话系统中的 LLM-based 开放领域对话 (ODD) 和任务导向对话 (TOD) 系统的进展，并且讨论了 LLMs 的发展和对多轮对话系统需求增加所引起的一些未来重点和最近的研究问题。

    Feb, 2024

  • 口语化头像系统的人类相应延迟对话回合

    通过分析谷歌自然问答数据库，本文展示了 GPT-4 可在超过 60％的时间内从问题末尾的遗漏词语有效填补丢失的上下文，并探讨了这种信息损失对发展中的角色模型质量的影响，同时提出了使用简单分类器来确定是否需要填充短语以满足人类对话时间限制的问题是否语义完整。

    Apr, 2024

  • Conversational SimulMT: 大型语言模型的高效实时翻译

    这篇论文提出了一种基于 LlM 的对话式 SimulMT 框架，通过多轮对话解码提高 LLM 的推理效率，在两个 SimulMT 基准测试中展示了 LLM 在翻译质量上的优越性以及与专用 SimulMT 模型相当的计算延迟。

    Feb, 2024

  • 基于大型语言模型的对话响应与语音合成的联合建模研究

    本文研究构建一种 “思考如何回应” 和 “思考如何讲话” 的人工智能口语对话系统，相比当前独立的聊天机器人和文本到语音（TTS）模块的级联流水线，更贴近人类语音生成过程。研究使用拥有数十亿参数的大型语言模型（LLMs），展示其在语音理解能力上的潜力，并通过统一的编码格式进一步整合对话回应和各种语言特征。实验结果表明，基于 LLM 的方法是构建统一口语对话系统的一种有前景的方向。

    Sep, 2023

  • SoulChat: 通过微调多轮同理心对话，提升 LLMs 的同理心、倾听和安慰能力

    通过使用多轮对话历史记录和更接近心理咨询师表达方式的回复进行微调，可以显著增强大型语言模型在心理辅导领域的共情能力。

    Nov, 2023