Mar, 2023

ICASSP 2023 年总会理解与生成挑战赛 (MUG) 概述

PDF
TL;DRICASSP2023 General Meeting Understanding and Generation Challenge (MUG) aims to improve users' efficiency in meetings by prompting research on spoken language processing, with five tracks including topic segmentation, summarization, title generation, keyphrase extraction, and action item detection. A large-scale meeting dataset, the AliMeeting4MUG Corpus, has been constructed and released to facilitate research.
spoken language processingmeeting transcriptstopic segmentationextractive summarizationkeyphrase extraction
发现论文，激发创造
  • GRASS: 语音语义理解统一生成模型

    该论文通过引入统一的端到端（E2E）框架，对语音语义理解任务进行了指令微调技术的探索，该框架在语音数据上生成与任务相关提示条件下的语义标签。实验证明，我们提出的模型在微调下游任务后显著优于最先进的模型，并且在零样本和少样本情况下取得了有竞争力的性能。为了促进未来对语音到语义任务的指令微调工作，我们发布了我们的指令数据集和代码。

    Sep, 2023

  • SIG: 文学中的说话者识别通过基于提示的生成

    提出了一种基于生成的方法 SIG，用于识别叙述中的引文说话者， 在处理超领域的未见过说话者和周围上下文中没有说话者提及等具有挑战性的情况下表现出卓越的性能。

    Dec, 2023

  • AudioGPT：理解与生成语音、音乐、声音和说话人头像

    本文提出了一种名为 AudioGPT 的多模 AI 系统，该系统结合了基础模型来处理复杂的音频信息和解决许多理解和生成任务，以及支持口语对话的输入 / 输出接口（ASR，TTS），并通过一系列实验证明了 AudioGPT 在多轮对话中具有语音、音乐、声音和对话理解和生成任务的能力。

    Apr, 2023

  • 使用音频启动大型语言模型进行通用语音摘要

    利用大型语言模型的处理和推理能力，我们引入了一个语音摘要的框架。该框架结合了经过调整的指令型语言模型和将语音转换为令牌表示的音频编码器，以使语言模型能够解释语音输入，并可根据输入模态产生一致的响应。与先前的方法不同，我们的方法能摘要任意领域的口述内容，并通过变化语言模型提示策略产生不同风格的摘要，实验证明我们的方法优于基于语音识别和语言模型的级联基线模型。

    Jun, 2024

  • SpeechGen：利用提示释放语音语言模型的生成力量

    本文介绍了一种名为 SpeechGen 的框架，使用 10M 个可训练参数，探索了提示调整方法来刺激语音语言模型进行各种生成任务，为更高效和有效地生成任务提供了前景。

    Jun, 2023

  • SpeechGPT-Gen：链式信息语音生成的规模化

    通过 Chain-of-Information Generation 方法，提出了一个在大规模语音生成中有效地解耦语义和感知信息的 SpeechGPT-Gen 模型，该模型在零样本文本到语音、零样本声音转换和语音对话中表现出了卓越的性能。

    Jan, 2024

  • 用于组讨论中自动里程碑检测的大型语言模型

    调查了 LLM 在小组口头交流任务中的表现，提出了使用文字片段迭代提示 GPT 来处理转录内容以检测是否完成了里程碑。研究发现，相比于使用文本嵌入的语义相似度搜索方法，迭代提示 GPT 的表现更好，并进一步讨论了在不同上下文窗口大小下 GPT 响应的质量和随机性。

    Jun, 2024

  • 音频驱动的真人假头视频的感知质量评估比较研究

    通过进行控制性的心理物理实验，我们验证了模型预测与人工注释之间的一致性，鉴定出相对于广泛使用的度量方法更能与人类意见相符的评估指标，以填补评估研究在视觉质量、嘴唇音频同步和头部移动自然性方面的空白。我们相信我们的工作将促进性能评估和模型开发，为人工智能生成内容在更广泛的背景下提供洞察。

    Mar, 2024

  • SUPERB-SG: 语音处理语义与生成能力的增强通用性能基准

    介绍 SUPERB-SG - 一个新的基准测试， 用于评估预训练模型的语义和生成能力，并使用轻量级方法测试预训练模型所学习表示的鲁棒性，以更全面地了解模型的效果和通用性。

    Mar, 2022

  • 统一的片段到片段框架用于同时序列生成

    提出了一种适应性和统一性的分段到分段框架（Seg2Seg）用于同步序列生成，通过引入潜在分段作为源到目标之间的桥梁并通过期望训练探索所有可能的源 - 目标映射，从而学习生成的最佳时机。实验结果表明，Seg2Seg 在多个同时生成任务中取得了最先进的性能，并且在各种任务中展现出更好的普适性。

    Oct, 2023