May, 2024

HEART-felt Narratives: 追踪 LLM 中个人故事中的同理心和叙事风格

PDF
TL;DR借助 LLMs 和大规模众包研究，我们实证检验并量化了故事叙述风格和共情之间的关系，引入了 HEART（人类共情和叙事分类系统）这一基于理论的新分类系统，证明了 LLMs 在从 HEART 中提取叙事要素方面的优势，并通过大规模众包研究收集到的情感判断数据集表明，通过 LLMs 提取的叙事要素，特别是情感的生动性和情节的音量，可以阐明叙事风格在培养对个人故事的共情中的路径。我们的工作表明，这样的模型可以用于引导以人为中心的社会和行为洞察的叙事分析。
empathynarrative stylellmsheartcrowdsourcing study
发现论文，激发创造
  • 建模个人叙述中的共情相似性

    本篇研究提出一种基于共情共鸣的个人故事相似度计算方法，通过对个人故事中的主要事件、情感轨迹和总体价值等三个特征进行操作来得出共情相似度得分，并使用 1500 个故事和 2000 对故事进行了数据集制作与模型的训练，最终证实了基于共情的相似度计算模型不仅在数据检索表现方面媲美基于词汇语义的模型，还能有效地促进人与人之间的情感共鸣与联系。

    May, 2023

  • 机器能与人类共鸣吗？评估语言模型的情感和共情理解能力

    通过人类交互动态的深度相互关联，人类关怀在促进亲社会行为方面起着关键作用，然而，利用自然语言处理方法对关怀进行建模仍然具有挑战性。从我们对提高语言模型中理解关怀的追求出发，我们提出了几种策略，包括在掩码语言模型中进行对比学习以及使用大型语言模型进行监督微调。尽管这些方法相对于以往的方法展示出了改进，但整体结果仍然不令人满意。为了更好地理解这一趋势，我们进行了分析，发现标注者之间存在低一致性。这种缺乏共识阻碍了训练，并强调了任务的主观性。我们还探讨了注释对文化的影响。为了研究这一点，我们精心收集了乌尔都语的故事对，并发现在解释标注者之间的关怀时主观性似乎与文化背景无关。我们对语言模型对关怀理解的系统探索所获得的见解表明，在任务制定和建模方面还有相当大的探索空间。

    Jun, 2024

  • 医学叙事文章情感分类任务中风格特征分析

    运用构式语法与系统功能语法理论以及深度学习计算框架建模不同方面的情感语言，通过对预科生写的仿真病人 - 医生互动对话的 440 篇论文进行分类，研究这种新方法在共情计算任务方面的应用潜力。

    Feb, 2023

  • 大型语言模型产生被认为是有同理心的回应

    大型语言模型（LLMs）在许多任务中表现出了令人惊讶的性能，包括撰写表达共情的支持性信息。我们在这里让这些模型生成对描述常见生活经历的帖子的共情信息，例如职场环境、育儿、人际关系和其他引发焦虑和愤怒的情境。通过两项研究（N=192，202），我们向人类评估者展示了几个模型（GPT4 Turbo、Llama2 和 Mistral）生成的各种回应，并要求他们评估这些回应的共情程度。我们发现 LLM 生成的回应在共情程度上一直被评为比人工撰写的回应更具共情性。语言分析还表明，这些模型在标点符号、表情符号和某些词语的使用方面具有独特、可预测的 “风格”。这些结果凸显了在强调共情的情境中利用 LLMs 提升人类同伴支持的潜力。

    Mar, 2024

  • 通过故事讲述栩栩如生的故事：一个富有表达力和流畅的多模式讲故事者

    基于图像流生成合理和生动的故事情节的多模态的人类水平故事生成方法 LLaMS 通过充分利用 LLM 中的常识知识，首先采用序列数据自动增强策略来增强实际内容表达，并利用文本推理架构进行表达性故事生成和预测；其次，我们提出故事插图生成的 SQ-Adapter 模块来保持序列一致性。通过人工评估验证了 LLaMS 提出方法的优越性，与之前的 SOTA 方法相比具有最先进的故事性能，具有 86% 的相关性和 100% 的一致性胜率。此外，还进行了消融实验以验证所提出的序列数据增强和 SQ-Adapter 的有效性。

    Mar, 2024

  • 感觉麻木还是有同理心？通过 EmotionBench 评估 LLMs 的感受

    利用心理学中的情感评估理论，我们提出了一种评估大型语言模型（LLMs）的同理心能力的方法，通过在具体情境中观察其感受变化。我们收集了超过 400 个情境，根据 8 种情绪将其分成 36 个因素，并进行了包含超过 1200 名全球参与者的人工评价实验。研究结果显示，尽管存在一些偏差，LLMs 总体能够适当地对特定情况做出反应，但仍然无法与人类的情绪行为建立联系。我们公开了情境数据集、人工评估结果以及我们的测试框架 EmotionBench 的代码，旨在提高 LLMs 在与人类情绪行为的对齐方面的应用价值和实用性。

    Aug, 2023

  • NLP 模型对追踪思路的表现：叙事理解概述

    本文对叙事理解任务进行了综合调查，详细研究了其关键特征、定义、分类、相关数据集、训练目标、评估指标和局限性。此外，我们探讨了将模块化大型语言模型的能力扩展到新的叙事理解任务的潜力，并通过将叙事理解视为提取作者想象线索的方式，引入了增强叙事理解的新方法。

    Oct, 2023

  • M-SENSE：利用主角心理再现建模短篇个人叙述中的叙事结构

    本文提出了一种计算模型，通过分析角色猜测的心理状态和句法和语义层面的语言信息，自动检测叙述结构的主要元素。通过使用预先训练的社交常识知识模型获取主角的心理状态信息，并使用多功能融合方法将其与语境语义嵌入相结合，我们建立了一个包含手动注释的 STORIES 数据集的计算模型来实现这一任务，并在评估中发现我们的模型能够实现极显著的改进来识别高潮和结局。

    Feb, 2023

  • 理性感知：由自我呈现理论引导的 LLM 增强型共情响应生成

    使用分类方法将历史对话分成合理和合理的句子，并通过设计的注意机制阐明上下文，以分析对话中维持的逻辑信息，以帮助模型评估合理与理性的平衡，以产生优质的共情回应。

    Dec, 2023

  • 利用大型语言模型的潜力进行共情回应的生成：实证研究和改进

    大型语言模型在培养有同理心的对话、构建和谐社会关系以及发展有帮助的人工智能方面具有至关重要的作用。本研究通过实证调查了大型语言模型在生成有同理心的回应方面的性能，并提出了三种改进方法：语义上下文学习、两阶段交互生成和与知识库的结合。广泛的实验证明，我们的方法能够显著改善大型语言模型的性能，在自动评估和人工评估方面达到最先进的水平。此外，我们还探索了 GPT-4 模型模拟人工评估者的可能性。

    Oct, 2023