Oct, 2023

对话 LLM：面向情感识别的对话中的上下文和情感知识调整的 LLaMA 模型

PDF
TL;DR使用多模态信息、上下文和情感知识调整的对话型大型语言模型 (DialogueLLM)，通过对 13,638 个多模态（文本和视频）情感对话进行微调，克服了大型语言模型在情感识别方面的局限性，并在三个基准情感对话识别数据集上进行了全面评估。
large language modelsemotion recognitionmulti-modal informationcontext and emotion knowledgeemotional dialogues
发现论文，激发创造
  • 针对专门的情感识别任务定制通用的大型语言模型

    通过使用大型语言模型，在情感识别领域中研究了 LLMs 的性能，发现其在语言情感识别任务中具有强大的迁移性和可行性。

    Oct, 2023

  • 情感 - LLaMA: 多模态情感识别与推理，通过指导调优

    为了解决情感识别中的单模态方法在捕捉真实世界情感表达复杂性方面的局限性，我们提出了 MERR 数据集和 Emotion-LLaMA 模型，通过整合音频、视觉和文本输入，显著提高情感识别能力，并在 evaluations 中取得了优异的成绩。

    Jun, 2024

  • 使用大型语言模型进行对话中的情感识别

    本研究探索大型语言模型 (LLMs) 在对话中识别人类情感方面的能力，重点关注开放领域闲聊对话和任务导向对话，并通过评估和比较 LLMs 在情感识别方面的性能，利用 IEMOCAP、EmoWOZ 和 DAIC-WOZ 三个不同数据集进行研究，从非零样本和少样本学习以及任务特定微调的角度探索 LLMs 的模型容量，并考虑了自动语音识别 (ASR) 错误对 LLM 预测的潜在影响。通过本研究，我们旨在阐明 LLMs 在对话中能够模拟人类情感识别能力的程度。

    Sep, 2023

  • EmoLLMs：一系列用于全面情感分析的情感大型语言模型和注释工具

    基于指令数据微调各种 LLMs 的 EmoLLMs 系列兼具情感分类和回归任务的综合情感分析模型，在各类任务中超越了现有的 LLMs、ChatGPT 和 GPT-4，具有与 ChatGPT 和 GPT-4 相当的情感分析自动化标注工具的广泛应用能力。

    Jan, 2024

  • 在 LLMs 时代构建情感支持聊天机器人

    利用大型语言模型的能力，本研究结合人工智能和人类洞察力创建了一个详尽的情感支持对话数据集，通过递归生成方法，优化了情感支持机器人，为情感支持领域的进一步研究和实施铺平了道路。

    Aug, 2023

  • EmoLLM：多模态情感理解与大型语言模型

    通过引入 EmoBench 和 EmoLLM，基于多模态大型语言模型的多模态情感理解性能得到显著提升，提供了更深入、更细致的人类情感理解，为人机交互、心理健康支持和共情人工智能系统等领域的应用开发提供了可能。

    Jun, 2024

  • 利用大型语言模型进行端到端语音识别的语境化

    通过引入一种新方法，结合大型语言模型（LLMs）来进行上下文化的语音识别模型，我们证明通过添加适配器的少量可训练参数，可以在保持相同的文本输入功能的同时，实现预训练 LLM 的上下文化语音识别能力并显著提高性能。

    Sep, 2023

  • 客户支持对话的对话质量和情绪标记

    本文提出了一种用于情感识别和对话质量评估的整体注释方法，为发展文本分类模型提供了一个独特而有价值的资源，并且显示出需要进一步研究以在实际应用中利用这些模型。

    Nov, 2023

  • 用常识推理提供更好的语境进行情感理解的 VLLMs

    利用视觉和大规模语言模型（VLLMs）的开创性能力，我们提出了一种两阶段方法来增强上下文情绪分类，首先利用 VLLMs 生成自然语言描述主体与视觉情境之间的明显情绪，然后将这些描述与图像输入一起用于训练融合文本和视觉特征的基于变换器的结构，在不引入复杂训练方法的情况下显著优于单一模态，并且在 EMOTIC、CAER-S 和 BoLD 三个数据集上达到了与更复杂方法相媲美甚至更高的准确性。

    Apr, 2024

  • LLM 对于面向任务的对话系统是否足够？

    本研究旨在研究大型语言模型在多轮任务和与外部数据库交互方面的能力，发现在显式信仰状态跟踪方面，它们表现不如专门的任务特定模型，但是如果给出正确的插槽值，它们表现出将对话引导到成功结局的能力，并且在有真实信仰状态分布或域内示例的情况下，这种能力得到了改进。

    Apr, 2023