Apr, 2023

基于 ACR 放射肿瘤学培训考试 (TXIT) 的 ChatGPT-4 标准化测试：面向放射肿瘤学 AI 辅助教育和决策的潜力与挑战

PDF
TL;DR本研究评估了 ChatGPT-3.5 和 ChatGPT-4 在放射肿瘤学领域的表现，结果表明 ChatGPT-4 在统计学、神经系统和眼科、儿科、生物学和物理学方面具有良好的知识，并在诊断、预后和毒性方面表现出色，但在播种治疗和剂量学等方面还有待提高。虽然 ChatGPT-4 尚不适用于放射肿瘤学的临床决策，但有望在医学教育和难度较高的临床案例方面发挥作用。
large language modelsradiation oncologymedical educationchatgpt-3.5chatgpt-4
发现论文，激发创造
  • 评估大型语言模型在高度专业化主题放射肿瘤物理学上的应用

    本研究研究使用 LLMS 答题的能力。我们开发了一个包含 100 个肿瘤放射物理学问题的考试，将四个 LLM（ChatGPT（GPT-3.5），ChatGPT（GPT-4），巴德（LaMDA）和 BLOOMZ）与医学物理学家和非专业人员进行了评估。ChatGPT（GPT-4）平均表现优于所有其他 LLM 以及医学物理学家。ChatGPT（GPT-4）在被激发先解释，然后再回答的情况下表现得更好。ChatGPT（GPT-4）展示了出人意料的准确性，表明了一种新颖的推理能力，但存在固有属性以及无法通过大多数投票进一步提高得分。

    Apr, 2023

  • 使用 ChatGPT 和 GPT-4 进行提示学习的放射学报告翻译成简明语言：结果、限制和潜力

    本研究调查了使用 ChatGPT 将放射学报告翻译成简明语言以提高医疗保健的可行性，并将 ChatGPT 与 GPT-4 进行比较，结果发现 GPT-4 可以显著提高翻译的质量。

    Mar, 2023

  • ChatGPT 在 USMLE 上的表现：揭示大型语言模型为 AI 辅助医学教育的潜力

    本研究评估了使用 ChatGPT 回答医学问题的可靠性，结果发现 ChatGPT 的答案更加上下文相关，代表着较好的演绎推理模型。ChatGPT 等语言学习模型可以成为 e-learners 的宝贵工具，但研究表明还有提高其准确性的空间。

    Jun, 2023

  • RadOnc-GPT：一种针对放射肿瘤学的大型语言模型

    本文提出了 RadOnc-GPT，这是一个专为放射肿瘤治疗而设计的大型语言模型，通过先进的调优方法进行专项调优。RadOnc-GPT 在 Mayo Clinic 的放射肿瘤学患者记录和临床笔记的大型数据集上进行了微调。该模型在三个关键任务上进行了指令调优，包括生成放射治疗方案、确定最佳放射疗法，以及根据患者诊断详情提供诊断描述 / ICD 代码。将 RadOnc-GPT 生成的输出与通用大型语言模型的输出进行比较的放射肿瘤学家评估显示，RadOnc-GPT 的输出在清晰度、特异性和临床相关性方面有显著改善。本研究证明了使用像 RadOnc-GPT 这样通过领域特定知识进行调优的大型语言模型，在放射肿瘤学等高度专业的医疗领域实现转型能力的潜力。

    Sep, 2023

  • 利用大型语言模型（如 ChatGPT 或 GPT-4）作为临床助手的潜力和风险

    在使用真实的大型电子病历数据库进行两项分析后，发现 ChatGPT 和 GPT-4 可以通过思路链和几次提示，准确地完成疾病分类任务，并为卫生保健工作者提供诊断辅助，但是这些模型目前存在错误陈述、忽视重要医学发现、推荐不必要的调查和过度治疗等问题，并伴随有隐私问题，因此仍不适用于现实世界的临床使用。不过，与传统机器学习工作流程的配置相比，这些模型所需的数据和时间较少，突出了它们在卫生保健应用中的可扩展性潜力。

    Jul, 2023

  • 评估 ChatGPT 在门诊分诊指导中的应用：一项比较研究

    评估 ChatGPT 在门诊指导中提供的回复一致性，包括版本内回复分析和版本间比较，结果表明 ChatGPT-4.0 的内部回复一致性显著高于 ChatGPT-3.5，并且两者的最佳推荐都具有中等一致性。然而，版本间的一致性相对较低，指示两个版本之间几乎没有匹配的推荐。此外，只有 50％的最佳推荐在比较中完全匹配。ChatGPT-3.5 的回复更可能是完整的，相较于 ChatGPT-4.0，这表明两个版本之间存在信息处理和回复生成的可能差异。这些发现提供了关于 AI 辅助门诊运作的见解，同时也促进了对 LLM 在医疗利用中的潜力和限制的探索。未来的研究可能会根据人体工程学和人因原则，精确地根据有效门诊分诊的特定需求，谨慎优化 LLM 和 AI 在医疗系统中的整合。

    Apr, 2024

  • 统一大型语言模型与本地微调模型在高度特化的放射学自然语言推理任务中的权衡探索

    本文评估了 ChatGPT / GPT-4 在放射学自然语言推理任务上的性能，并将其与其他针对任务相关数据样本进行微调的模型进行比较。结果显示，构建能解决不同领域的各种任务的通用模型是可行的。

    Apr, 2023

  • ChatGPT 解释复杂医学报告给病人的有效性

    电子病历、ChatGPT、多学科团队报告、医学语言和大型语言模型是本研究的关键词。研究发现，大型语言模型能帮助解释复杂的医学报告给患者，但存在信息不准确、语言不当、个性化有限、人工智能不信任以及将大型语言模型融入临床工作流程的挑战等问题需要解决。

    Jun, 2024

  • 探索 GPT-4 在放射学领域的边界

    本论文评估了目前最先进的大型语言模型 GPT-4 在放射学报告的文本应用中的表现，探索了各种提示策略，并发现 GPT-4 在常见放射学任务中表现要优于或与目前最先进的放射学模型相媲美。针对需要学习特定样式或架构的任务，GPT-4 通过基于示例的提示得到改进并与监督的最先进模型相匹配。通过与一名获得认证的放射科医生的广泛错误分析表明，GPT-4 在放射学知识方面具备足够水平，只偶尔在需要微妙领域知识的复杂上下文中出现错误。针对发现的总结，GPT-4 的输出整体上与现有的人工编写印象相当。

    Oct, 2023

  • ChatGPT 的病例记录：语言模型与复杂临床问题

    研究了人工智能 GPT4 和 GPT3.5 模型在诊断复杂临床病例时的准确性，结果发现模型在多次尝试后能够正确提供正确的诊断和必要的诊断测试，但在复杂、开放性的情况下存在局限性，未来研究应集中于评估模型在更大数据集上的性能和探索增强临床决策的人机协作策略。

    May, 2023