BLSP-Emo: 朝着具有同理心的大型语音语言模型

Jun, 2024

BLSP-Emo: 朝着具有同理心的大型语音语言模型

BLSP-Emo: Towards Empathetic Large Speech-Language Models

Chen Wang, Minpeng Liao, Zhongqiang Huang, Junhong Wu, Chengqing Zong...

TL;DR本文介绍了一种新颖的方法 BLSP-Emo（具有情感支持的语音 - 语言预训练模型），通过利用现有的语音识别和语音情感识别数据集，在两个阶段中实现语义和情感在语音中的理解，并生成具有共情能力的回应。实验结果表明，BLSP-Emo 模型在理解语音和提供共情回应方面取得了出色的表现。

Abstract

The recent release of gpt-4o showcased the potential of end-to-end multimodal models, not just in terms of low latency but also in their ability to understand and generate expressive speech with rich emotions. While the details are unknown to the open research community, it likely invo

gpt-4o end-to-end multimodal models speech-language model empathetic responses blsp-emo

发现论文，激发创造

利用语音 PTM、文本 LLM 和情感 TTS 进行语音情感识别

通过研究不同的预训练模型、情感文本合成和数据增强方法，本文提出了一种提高语音情感识别效果的方法，实验结果表明该方法在 IEMOCAP 数据集上具有较高的效果。

Sep, 2023

BLSP：基于继续写作行为对齐的语音 - 文本预训练引导

通过行为对齐的方式，我们提出了一种轻量级的语言 - 语音预训练方法，将大型语言模型（LLMs）的能力扩展到语音识别、语音翻译、口语理解和对话等领域，实现了语音和文本之间的模态对齐。

Sep, 2023

利用大型语言模型的潜力进行共情回应的生成：实证研究和改进

大型语言模型在培养有同理心的对话、构建和谐社会关系以及发展有帮助的人工智能方面具有至关重要的作用。本研究通过实证调查了大型语言模型在生成有同理心的回应方面的性能，并提出了三种改进方法：语义上下文学习、两阶段交互生成和与知识库的结合。广泛的实验证明，我们的方法能够显著改善大型语言模型的性能，在自动评估和人工评估方面达到最先进的水平。此外，我们还探索了 GPT-4 模型模拟人工评估者的可能性。

Oct, 2023

EmoSpeech：引领 FastSpeech2 朝向情感文本朗读技术的方向

本文探讨了在 FastSpeech2 的基础上如何通过更改结构实现情感语音的合成，并且在自动和人体评估中，创造了 EmoSpeech 模型，该模型的 MOS 得分和情感识别准确性均超过了现有模型。

Jun, 2023

利用大型语言模型的共情回应生成能力支持在线心理健康咨询

本研究通过比较五款大型语言模型（LLMs）生成的相应和传统对话系统及人工生成的相应，发现 LLMs 在大多数情景中表现出更高的同理心，从而探索并验证 LLMs 在模拟心理咨询对话中生成同理心回应的能力。

Oct, 2023

GEmo-CLAP：增强性别属性对比的语音文本预训练用于言语情感识别

本文提出了 GEmo-CLAP，一种高效的性别属性增强的 CLAP 模型，用于语音情感识别，在 IEMOCAP 语料库上表现优于 Emo-CLAP 基线和其他先进方法。

Jun, 2023

LanSER: 语言模型支持下的语音情感识别

利用先前训练的大型语言模型，LanSER 通过弱监督学习方法通过推断弱情绪标签实现对未标记数据的利用，并在限制到特定分类方法的情况下使用文本蕴涵方法从自动语音识别中提取的语音转录本选择具有最高蕴涵分数的情绪标签，实验证明，使用这种弱监督方法的大型数据集的预训练模型在标准语音情感识别数据集上的调整后表现优于其他基线模型，并显示了改进的标签效率，尽管这些模型仅以文本为基础进行了预训练，但我们证明了得到的表示形式似乎对语音的韵律内容进行了建模。

Sep, 2023

语音情感识别中的非监督语音风格转移数据增强

该文研究了语音情感识别中数据不足的问题，提出了一种称为 EmoAug 的情感样式转移模型，该模型可以用来增强音频数据的情感表达，包括应对数据不平衡的问题，实验表明该模型在提取语音情感特征方面的效果显著优于现有方法。

Nov, 2022

AugESC: 基于预训练语言模型的情感支持对话大规模数据增强

本文提出了一种利用大规模预训练语言模型进行数据增强的方法，构建了一个比原始数据集更大且主题更广泛的机器增强数据集，有助于提高情感支持对话模型应对各种话题和提供更为有效的情感支持。

Feb, 2022

情感导向的自动语音识别预训练，增强语音情感识别

提出了一种新颖的多任务预训练方法，用于语音情感识别，在同时进行自动语音识别和情感分类任务的情况下对 SER 模型进行预训练，生成目标情感分类的方法，通过公开数据训练的文本情感模型，将声学 ASR 模型更加 “情感感知”，最终在情感注释语音数据上进行了微调，达到了 MSP-Podcast 数据集中价值预测最佳的一致性相关系数（CCC）0.41。

Jan, 2022