May, 2024

比较 GPT-4 与 Chat-GPT 在心理健康护理中的功效：对大型语言模型进行盲评估以支持心理辅导

PDF
TL;DR该研究比较了两个大型语言模型 GPT-4 和 Chat-GPT 在回应 18 个心理提示方面的表现，以评估它们在心理健康护理环境中的潜在适用性。结果显示 GPT-4 在生成临床相关和富有同理心的回应方面更有效，提供更好的支持和指导。这项研究为大型语言模型在心理健康护理领域的适用性提供了贡献，强调了在该领域持续研究和开发的重要性。需要进一步研究了解造成两个模型性能差异的具体因素，并探索其在不同人群和心理健康状况中的普适性。
natural language processinglarge language modelsmental health caregpt-4chat-gpt
发现论文，激发创造
  • ChatGPT 在基于自然语言处理的心理健康应用中的评估

    该研究评估了基于大型语言模型 ChatGPT 在三种文本分类任务中的表现，并发现零 - shot 分类准确度表明语言模型对心理健康分类任务具有潜在的应用价值。

    Mar, 2023

  • 利用大型语言模型（如 ChatGPT 或 GPT-4）作为临床助手的潜力和风险

    在使用真实的大型电子病历数据库进行两项分析后，发现 ChatGPT 和 GPT-4 可以通过思路链和几次提示，准确地完成疾病分类任务，并为卫生保健工作者提供诊断辅助，但是这些模型目前存在错误陈述、忽视重要医学发现、推荐不必要的调查和过度治疗等问题，并伴随有隐私问题，因此仍不适用于现实世界的临床使用。不过，与传统机器学习工作流程的配置相比，这些模型所需的数据和时间较少，突出了它们在卫生保健应用中的可扩展性潜力。

    Jul, 2023

  • 聊天 GPT 与情感增强提示在心理健康分析中的评估

    本文详细评估了 ChatGPT 在 11 个数据集上的心理健康分析和情感推理能力，分析了不同提示策略对其分析能力和可解释性的影响，并发现情感提示可以有效提高其性能，但需要正确的情感注入方式。

    Apr, 2023

  • 大型语言模型能否用于心理咨询？使用角色扮演对话分析 GPT-4 生成的回应

    通过角色扮演情景中，由专家心理咨询师提供咨询对话的数据，标注咨询师的意图，并通过第三方咨询师的评估，发现 GPT-4 生成的回答在咨询对话数据中与人类咨询师的回答具有竞争力。

    Feb, 2024

  • ChatGPT 在 USMLE 上的表现：揭示大型语言模型为 AI 辅助医学教育的潜力

    本研究评估了使用 ChatGPT 回答医学问题的可靠性，结果发现 ChatGPT 的答案更加上下文相关，代表着较好的演绎推理模型。ChatGPT 等语言学习模型可以成为 e-learners 的宝贵工具，但研究表明还有提高其准确性的空间。

    Jun, 2023

  • ChatGPT-3.5 和 GPT-4 在美国医疗执照考试中的表现 —— 带与不带干扰的比较

    研究试图调查医学数据与闲聊混合对 ChatGPT 提供的医疗建议准确性的影响，结果显示 ChatGPT-4 的准确性比 3.5 版本更高，并且似乎闲聊不会影响其提供医疗建议的能力，这对于理解利用 ChatGPT 和其他 LLM 进行医患互动的潜力和限制是重要的第一步。

    Sep, 2023

  • 大型语言模型在初级编程教育中的应用：ChatGPT 的性能和对评估的影响

    该论文研究了大型语言模型（LLMs）ChatGPT-3.5 和 GPT-4 在解决入门级编程任务中的表现，并根据表现得出了利用 LLMs 进行教学场景和评估格式的暗示。研究选取了来自免费网站 CodingBat 的 72 个针对初学者的 Python 任务，使用完整任务描述作为 LLMs 的输入，通过 CodingBat 的单元测试评估生成的回复。此外，还分析了文本解释和程序代码的普遍可用性。结果显示得分高，正确响应率为 94.4％至 95.8％，同时文本解释和程序代码的可用性可靠，从而为将 LLMs 纳入编程教育和评估中打开了新的途径。

    Aug, 2023

  • GPTEval: ChatGPT 和 GPT-4 评估调查

    对 ChatGPT 和 GPT-4 的语言能力、科学知识和伦理考虑进行全面评估的研究，包括现有评估方法的探讨和未来研究中对大型语言模型的评估建议。

    Aug, 2023

  • ChatGPT/GPT-4 研究综述及对大型语言模型未来的展望

    本文对 ChatGPT 和 GPT-4 进行了综合调查，分析了其在各领域的潜在应用，发现 ChatGPT/GPT-4 主要应用于自然语言处理，并在教育、历史、数学、医学和物理等领域具有潜力。同时也提出了伦理问题和未来发展方向。

    Apr, 2023

  • 药物 - GPT 和 ChatGPT LLMs 对医疗洞察的比较分析：在患者和医疗专业人员背景下评估准确性和相关性

    本研究比较分析了三种生成式预训练转换模型（GPT）在问答环境中的应用：Drug-GPT 3、Drug-GPT 4 和 ChatGPT，并且将其应用于医疗保健领域。研究的目标是确定哪个模型在回答关于特应性皮炎（AD）患者经历和与糖尿病相关的医疗专业人员（HCP）讨论的问题时能提供最准确和相关的信息。结果表明，虽然这三种模型都能生成相关和准确的回答，但 Drug-GPT 3 和 Drug-GPT 4 这两种模型通过病患和医疗专业人员社交媒体和留言板帖子的筛选数据提供了更有针对性和深入的见解。ChatGPT 这种更通用的模型生成了更宽泛和一般性的回答，对于希望获得对主题的整体理解的读者来说可能是有价值的，但可能缺乏 Drug-GPT 模型生成答案中的深度和个人见解。这项比较分析强调了在评估医疗保健应用中生成信息的有用性时考虑语言模型的观点、知识深度和时效性的重要性。

    Jul, 2023