AI 聊天机器人从患者的病情投诉中进行疾病预测的可靠性
本文探讨了使用人工智能聊天机器人，基于临床笔记回答特定患者问题的实用性，评估并比较了多种大型语言模型系统（ChatGPT（3.5 和 4 版本），Google Bard 和 Claude）所生成的答案的准确性和相关性。
Jun, 2023
评估 ChatGPT 在门诊指导中提供的回复一致性，包括版本内回复分析和版本间比较，结果表明 ChatGPT-4.0 的内部回复一致性显著高于 ChatGPT-3.5，并且两者的最佳推荐都具有中等一致性。然而，版本间的一致性相对较低，指示两个版本之间几乎没有匹配的推荐。此外，只有 50％的最佳推荐在比较中完全匹配。ChatGPT-3.5 的回复更可能是完整的，相较于 ChatGPT-4.0，这表明两个版本之间存在信息处理和回复生成的可能差异。这些发现提供了关于 AI 辅助门诊运作的见解，同时也促进了对 LLM 在医疗利用中的潜力和限制的探索。未来的研究可能会根据人体工程学和人因原则，精确地根据有效门诊分诊的特定需求，谨慎优化 LLM 和 AI 在医疗系统中的整合。
Apr, 2024
在使用真实的大型电子病历数据库进行两项分析后，发现 ChatGPT 和 GPT-4 可以通过思路链和几次提示，准确地完成疾病分类任务，并为卫生保健工作者提供诊断辅助，但是这些模型目前存在错误陈述、忽视重要医学发现、推荐不必要的调查和过度治疗等问题，并伴随有隐私问题，因此仍不适用于现实世界的临床使用。不过，与传统机器学习工作流程的配置相比，这些模型所需的数据和时间较少，突出了它们在卫生保健应用中的可扩展性潜力。
Jul, 2023
研究了大型语言模型在生物医学任务中的性能，并与更简单的模型进行了比较，特别地，探讨了分类和因果关系检测任务。发现精细调整后的模型依然是最佳策略，而简单的词袋模型的表现与最复杂的大型语言模型的表现相当。
Apr, 2023
大型语言模型（LLMs）在医疗领域的整合潜在地可以通过开发具有共情能力，面向患者的聊天机器人，显著增强患者护理和支持。本研究调查了一个有趣的问题：相较于通常由医生提供的，ChatGPT 能否提供更高程度的共情回应？为了回答这个问题，我们从梅奥诊所收集了病人信息和医生回复的去标识化数据集，并使用 ChatGPT 生成了备选回复。我们的分析包括了一种新的共情评级（EMRank）评估方法，评估回复的共情程度，该方法涵盖了自动化指标和人工评估。我们的研究结果表明，由 LLM 驱动的聊天机器人在传递共情沟通方面有超过人类医生的潜力，这为增强患者护理和减少专业倦怠提供了有前景的途径。本研究不仅强调了患者互动中共情的重要性，还提出了一套有效的自动共情评级指标，为 LLM 在医疗领域更广泛的应用铺平了道路。
May, 2024
该研究提出了一种创新的方法，在临床决策中应用大型语言模型（LLMs），重点关注 OpenAI 的 ChatGPT。我们的方法介绍了在数据稀缺情况下，采用上下文提示（策略性地设计了包括任务描述、特征描述和领域知识整合的提示）进行高质量二元分类任务的应用。我们的研究探索了 LLMs 基于零样本和少样本提示学习的动态性，通过比较 OpenAI 的 ChatGPT 在不同数据条件下与传统监督式机器学习模型的性能，旨在提供对不同数据可用性下提示工程策略有效性的见解。这篇论文架起了人工智能和医疗保健之间的桥梁，提出了一种新的 LLMs 在临床决策辅助系统中的应用方法，并强调了提示设计、领域知识整合和灵活学习方法在增强自动化决策方面的变革潜力。
Aug, 2023
本研究评估了使用 ChatGPT 回答医学问题的可靠性，结果发现 ChatGPT 的答案更加上下文相关，代表着较好的演绎推理模型。ChatGPT 等语言学习模型可以成为 e-learners 的宝贵工具，但研究表明还有提高其准确性的空间。
Jun, 2023
人工智能在支持医疗服务方面的重要性得到了全球大流行病的推动。我们回顾了过去 10 年（2013 年至 2023 年）提出的医疗领域 AI 聊天机器人的最新技术。我们的研究表明，虽然有少数商业聊天机器人用于患者支持，还有一些尚处于临床试验阶段的非商业聊天机器人，但人们对这种技术在患者安全和数据保护方面缺乏信任，医疗工作者和专业人士对其好处缺乏广泛认识。此外，与人类相比，患者对于聊天机器人的自然语言处理技术表达了不满。然而，为了部署和整合 AI 聊天机器人在公共卫生服务中，当前需求是：构建简单且安全易用的技术；通过专注的培训和发展来增强医疗界对该技术的信心；通过外联活动增加患者和更广泛社区对该技术的认知。
Aug, 2023
使用 GPT-3 模型进行医疗问题回答（MedQA）存在挑战和风险，分析表明 LLMs 对高风险的查询无法适当回应，生成错误的医疗信息、不安全的建议和可能被视为冒犯的内容。
Aug, 2023