Jan, 2024

大型语言模型用于认知行为疗法中的响应生成：与苏格拉底式质询的比较研究

PDF
TL;DR通过比较基于 LLMs 生成的回应与非基于 LLMs 生成的回应的系统，研究了生成回应对主观评价（如情绪变化、认知变化和对话质量）的影响。结果表明，使用 GPT-4 时，情绪变化、共情和其他对话品质显著改善，说明 GPT-4 具有较高的心理咨询能力。然而，研究还指出，即使使用了人类心理咨询数据集训练的对话模型，与基于情景的对话相比，并不能产生更好的结果。在使用了规则、情景或示例回应的系统中，可以通过人工专业人士提前使用 LLMs 生成示例回应或回应模板的方式呈现基于 LLMs 生成的回应，并且直接与用户在现实的心理健康服务中进行交互，这可能引发一些伦理问题。
dialogue systemsllmscognitive behavioral therapymood changedialogue quality
发现论文，激发创造
  • 利用大型语言模型的共情回应生成能力支持在线心理健康咨询

    本研究通过比较五款大型语言模型（LLMs）生成的相应和传统对话系统及人工生成的相应，发现 LLMs 在大多数情景中表现出更高的同理心，从而探索并验证 LLMs 在模拟心理咨询对话中生成同理心回应的能力。

    Oct, 2023

  • 大型语言模型能否用于心理咨询？使用角色扮演对话分析 GPT-4 生成的回应

    通过角色扮演情景中，由专家心理咨询师提供咨询对话的数据，标注咨询师的意图，并通过第三方咨询师的评估，发现 GPT-4 生成的回答在咨询对话数据中与人类咨询师的回答具有竞争力。

    Feb, 2024

  • AI 是否能相似地感知：测试大型语言模型对精神健康支持的响应

    我们开发了一个评估框架，以确定大型语言模型在自动化心理健康治疗方面是否是可行和道德的前进路径，并通过人工评估和心理学研究的自动质量评估指标，比较了点对点响应者提供的回应与一种最先进的大型语言模型提供的回应。我们展示了像 GPT-4 这样的大型语言模型使用隐式和显式线索推断患者人口统计学特征，然后展示了患者子群之间存在统计上显著差异：对于黑人发帖的回应一直比其他人口统计群体的同一回应具有较低的同理心（比对照组低 2%-13%）。我们发现回应生成的方式显著影响回应的质量。最后，我们提出了大型语言模型在心理健康响应潜在部署中的安全指南。

    May, 2024

  • 利用大型语言模型的潜力进行共情回应的生成：实证研究和改进

    大型语言模型在培养有同理心的对话、构建和谐社会关系以及发展有帮助的人工智能方面具有至关重要的作用。本研究通过实证调查了大型语言模型在生成有同理心的回应方面的性能，并提出了三种改进方法：语义上下文学习、两阶段交互生成和与知识库的结合。广泛的实验证明，我们的方法能够显著改善大型语言模型的性能，在自动评估和人工评估方面达到最先进的水平。此外，我们还探索了 GPT-4 模型模拟人工评估者的可能性。

    Oct, 2023

  • CBT-LLM：面向认知行为疗法心理健康问答的中文大型语言模型

    通过大型语言模型，本研究设计了基于认知行为疗法的特定提示，生成了针对中国心理健康问答的 CBT QA 数据集，并利用该数据集对大型语言模型进行微调，从而产生了专为认知行为疗法技术设计的大规模语言模型 CBT-LLM。经验评估表明 CBT-LLM 在心理健康支持任务中能够产生结构化、专业和高度相关的回应，展示了其实用性和质量。

    Mar, 2024

  • 评估信息查询对话中基于文档的响应生成的大型语言模型

    该论文研究了在信息寻求对话中使用大规模语言模型（LLMs）如 ChatGPT 进行基于文件的响应生成。通过人工评估我们发现，ChatGPT 变种虽然有可能插入不在相关片段中的信息，可能存在错觉，但评分比共享任务获胜系统和人工响应更高。

    Sep, 2023

  • 一个用于心理健康中大型语言模型的新颖细致对话评估框架

    我们提出了一个新颖的框架来评估大型语言模型（LLMs）的细致对话能力，将其应用于心理健康领域，并发现 GPT4 Turbo 在特定主题上表现出与经过验证的治疗师高度相关的成绩，从而帮助研究人员开发更好的 LLMs 以更积极地支持人们的生活。

    Mar, 2024

  • 针对积极对话的大型语言模型的提示和评估：澄清、目标导向和非协作

    本篇论文中，我们提出了一种称之为 Proactive Chain-of-Thought 推导方案，它能够增强 LLMs 的目标规划能力，以解决其在主动对话方面的不足，具体涉及三个方面：澄清、目标引导和非协作对话。我们还探讨了相应的实证结果，以促进未来在基于 LLM 的主动对话系统方面的研究。

    May, 2023

  • LLM 治疗师行为评估的计算框架

    我们提出了一种名为 BOLT 的新型计算框架，用于研究大型语言模型（LLMs）在担任治疗师角色时的对话行为。我们开发了一种上下文学习方法，定量测量 LLMs 的行为，基于包括反映、提问、解决方案、正常化和心理教育在内的 13 种不同的心理治疗技术。我们通过比较 LLM 治疗师与高、低质量人类治疗师的行为，并研究如何调整其行为以更好地体现高质量治疗中观察到的行为，发现 LLMs 的行为更接近低质量治疗，需要进一步研究来确保质量治疗。

    Jan, 2024

  • 大型语言模型是否比人类更具移情能力？

    本研究通过与人类基准对比的方式，综合评估了四个最先进的大型语言模型（GPT-4、LLaMA-2、Mixtral-8x7B 和 Gemini-Pro）在共 2000 个情感对话提示中的回应中的移情能力。我们的发现显示，大型语言模型在移情回应能力上显著超过人类，其中 GPT-4 的回应被评为 “好” 的比例比人类基准提高了约 31%。此外，我们发现不同的大型语言模型在回应不同情感时表现显著不同。基于研究结果，我们提出了一种可扩展和可适应的评估框架，用于评估新大型语言模型的移情能力，避免了未来研究中重复这项研究的需求。

    Jun, 2024