Jan, 2024

SpeechGPT-Gen：链式信息语音生成的规模化

PDF
TL;DR通过 Chain-of-Information Generation 方法，提出了一个在大规模语音生成中有效地解耦语义和感知信息的 SpeechGPT-Gen 模型，该模型在零样本文本到语音、零样本声音转换和语音对话中表现出了卓越的性能。
speech large language modelschain-of-information generationspeechgpt-gensemantic information modelingperceptual information modeling
发现论文，激发创造
  • SpeechGPT：赋能大型语言模型具备内在的跨模态对话能力

    本文提出了 SpeechGPT，一个具有内在跨模式对话能力的大型语言模型，可以感知和生成多模式内容，并演示了语音 + 文本的多模态交互示例。

    May, 2023

  • AudioGPT：理解与生成语音、音乐、声音和说话人头像

    本文提出了一种名为 AudioGPT 的多模 AI 系统，该系统结合了基础模型来处理复杂的音频信息和解决许多理解和生成任务，以及支持口语对话的输入 / 输出接口（ASR，TTS），并通过一系列实验证明了 AudioGPT 在多轮对话中具有语音、音乐、声音和对话理解和生成任务的能力。

    Apr, 2023

  • 编码语义与 LLMs 的桥梁：用于代码生成的语义思维链路提示

    本文提出了一种名为 SeCoT 的语义 “思维链” 方法，通过引入代码的语义信息，指导大型语言模型考虑和整合语义信息，以提高代码生成的准确性。实验结果表明，SeCoT 在大型模型和代码生成方面取得了最先进的性能提升。

    Oct, 2023

  • SpeechGen：利用提示释放语音语言模型的生成力量

    本文介绍了一种名为 SpeechGen 的框架，使用 10M 个可训练参数，探索了提示调整方法来刺激语音语言模型进行各种生成任务，为更高效和有效地生成任务提供了前景。

    Jun, 2023

  • ModelGPT: 发挥 LLM 的能力进行定制模型生成

    通过使用 Large Language Models (LLMs)，我们提出了 ModelGPT 框架，以满足用户的特定需求，并以更快的速度生成定制化的 AI 模型，以实现更加便利和用户友好的人工智能模型。

    Feb, 2024

  • 评估用于图到文本生成的生成模型

    本文探讨了生成模型在零样本情况下从图数据生成描述性文本的能力，并与微调后的语言模型进行了比较，在两个图到文本数据集上评估了 GPT-3 和 ChatGPT 的性能。结果表明生成模型能够生成流畅和连贯的文本，AGENDA 和 WebNLG 数据集的 BLEU 分别达到 10.57 和 11.08。然而，我们的错误分析发现生成模型仍然难以理解实体之间的语义关系，并且倾向于生成存在幻觉或无关信息的文本。作为错误分析的一部分，我们使用 BERT 检测机器生成的文本，并实现了较高的宏 F1 得分。我们已公开提供生成模型生成的文本。

    Jul, 2023

  • GesGPT: 基于 GPT 的文本解析语音姿态综合技术

    提出了一种通过 GPT 提取语义信息并利用手势库和集成模块生成与语音文本相关的语境适当和表现丰富的共同言语手势的姿态生成新方法 GesGPT。

    Mar, 2023

  • GenTranslate：大型语言模型是生成式跨语音和机器翻译器

    利用大型语言模型的丰富语言知识和强大的推理能力，我们提出了一种新的生成式翻译范式 ——“GenTranslate”，可以从 N 个候选译文中生成更高质量的翻译结果，并且在各种语音和机器翻译基准测试中明显优于现有模型。

    Feb, 2024

  • 增强的说话对话的语音模型中的次语言学特征

    大型语言模型在聊天、推理和问答等任务中表现出卓越的能力，然而标准的语言模型可能会忽略关键的语用信息，如情感、情感和口语风格，而这些信息对于实现自然、类似人类的口语对话非常重要，特别是当这些信息通过声学提示来传达时。因此，我们提出了一种增强语用的生成预训练变压器（ParalinGPT），该模型利用文本和语音模态来更好地建模口语回应的语言内容和语用属性。该模型将文本的对话背景、语音嵌入和语用属性作为输入提示，在序列化的多任务多模态框架中。实验结果表明，所提出的序列化多任务方法在当前和回应的情感分类上优于典型的序列分类技术。此外，利用对话背景和语音嵌入显著改进了回应文本的生成和情感预测。我们提出的框架在当前情感准确度、回应情感准确度和回应文本 BLEU 分数上分别取得了 6.7％、12.0％和 3.5％的相对改进。

    Dec, 2023

  • 搜索锁链：面向复杂知识密集型任务的精确、可信和可追溯的内容生成

    本文提出一种称为 Search-in-the-Chain（SearChain）的新框架，旨在通过将信息检索和 LLM 深度整合来提高 LLM 生成答案的准确性、可信性和可追溯性，具体应用于 typ ical complex knowledge-intensive task 中 multi-hop question answering。

    Apr, 2023