Aug, 2023

产后情绪与焦虑障碍的三个聊天机器人的开发和评估

PDF
TL;DR我们开发了三种聊天机器人，旨在为产后护理者提供特定情境下的共情支持，并通过基于规则和生成模型的指标对其性能进行评估。研究表明，基于规则的模型在共情度和与真实参考接近程度方面表现最佳，而人们更喜欢基于规则的聊天机器人，因为其具备特定情境下的人性回复。然而，我们的生成模型在训练数据集限制下，偶尔会产生混乱或荒谬的回复。最后，我们讨论了支持心理健康挑战个体的基于规则和生成模型的实际好处，并对大型语言模型在数字心理保健领域的可能性和风险进行了讨论。
发现论文，激发创造
  • 利用大型语言模型的共情回应生成能力支持在线心理健康咨询

    本研究通过比较五款大型语言模型（LLMs）生成的相应和传统对话系统及人工生成的相应，发现 LLMs 在大多数情景中表现出更高的同理心，从而探索并验证 LLMs 在模拟心理咨询对话中生成同理心回应的能力。

    Oct, 2023

  • 应用和评估带有 LLM 能力的聊天机器人进行精神科医生和患者模拟

    本论文旨在研究将 ChatGPT 用于精神科门诊情景下精神医生和患者模拟对话中的应用及评估行为和用户体验的可行性，并探讨提示设计对聊天机器人行为和用户体验的影响。

    May, 2023

  • 聊天 GPT 与情感增强提示在心理健康分析中的评估

    本文详细评估了 ChatGPT 在 11 个数据集上的心理健康分析和情感推理能力，分析了不同提示策略对其分析能力和可解释性的影响，并发现情感提示可以有效提高其性能，但需要正确的情感注入方式。

    Apr, 2023

  • 朝着可靠和富有同理心的抑郁症诊断导向聊天

    Chatbots can help diagnose depression by combining task-oriented conversations with empathy-related chit-chat, as demonstrated by an ontology-based framework applied to the D$^4$ dataset, resulting in improved task completion and emotional support generation.

    Apr, 2024

  • 使用真实世界的医生与患者互动评估大型语言模型的共情能力

    大型语言模型（LLMs）在医疗领域的整合潜在地可以通过开发具有共情能力，面向患者的聊天机器人，显著增强患者护理和支持。本研究调查了一个有趣的问题：相较于通常由医生提供的，ChatGPT 能否提供更高程度的共情回应？为了回答这个问题，我们从梅奥诊所收集了病人信息和医生回复的去标识化数据集，并使用 ChatGPT 生成了备选回复。我们的分析包括了一种新的共情评级（EMRank）评估方法，评估回复的共情程度，该方法涵盖了自动化指标和人工评估。我们的研究结果表明，由 LLM 驱动的聊天机器人在传递共情沟通方面有超过人类医生的潜力，这为增强患者护理和减少专业倦怠提供了有前景的途径。本研究不仅强调了患者互动中共情的重要性，还提出了一套有效的自动共情评级指标，为 LLM 在医疗领域更广泛的应用铺平了道路。

    May, 2024

  • AI 是否能相似地感知：测试大型语言模型对精神健康支持的响应

    我们开发了一个评估框架，以确定大型语言模型在自动化心理健康治疗方面是否是可行和道德的前进路径，并通过人工评估和心理学研究的自动质量评估指标，比较了点对点响应者提供的回应与一种最先进的大型语言模型提供的回应。我们展示了像 GPT-4 这样的大型语言模型使用隐式和显式线索推断患者人口统计学特征，然后展示了患者子群之间存在统计上显著差异：对于黑人发帖的回应一直比其他人口统计群体的同一回应具有较低的同理心（比对照组低 2%-13%）。我们发现回应生成的方式显著影响回应的质量。最后，我们提出了大型语言模型在心理健康响应潜在部署中的安全指南。

    May, 2024

  • 在 LLMs 时代构建情感支持聊天机器人

    利用大型语言模型的能力，本研究结合人工智能和人类洞察力创建了一个详尽的情感支持对话数据集，通过递归生成方法，优化了情感支持机器人，为情感支持领域的进一步研究和实施铺平了道路。

    Aug, 2023

  • ChatGPT 在基于自然语言处理的心理健康应用中的评估

    该研究评估了基于大型语言模型 ChatGPT 在三种文本分类任务中的表现，并发现零 - shot 分类准确度表明语言模型对心理健康分类任务具有潜在的应用价值。

    Mar, 2023

  • 利用大型语言模型的潜力进行共情回应的生成：实证研究和改进

    大型语言模型在培养有同理心的对话、构建和谐社会关系以及发展有帮助的人工智能方面具有至关重要的作用。本研究通过实证调查了大型语言模型在生成有同理心的回应方面的性能，并提出了三种改进方法：语义上下文学习、两阶段交互生成和与知识库的结合。广泛的实验证明，我们的方法能够显著改善大型语言模型的性能，在自动评估和人工评估方面达到最先进的水平。此外，我们还探索了 GPT-4 模型模拟人工评估者的可能性。

    Oct, 2023

  • ChatGPT 在情感计算任务上的广泛评估

    基于 ChatGPT 模型的广泛研究评估了 GPT-4 和 GPT-3.5 在 13 个影响计算问题上的性能，发现它们在涉及情感、情绪和毒性等问题上表现出色，但在涉及隐性信号的问题上表现较差，如参与度测量和主观性检测。

    Aug, 2023