Sep, 2023

语言模型在医疗应用中容易受到患者错误自我诊断的影响

PDF
TL;DR大语言模型在医疗保健领域逐渐变得越来越重要，它可作为一种潜在工具，帮助临床医生、研究人员和患者之间进行沟通。然而，对医学考试问题上的 LLMs 进行传统评估并不能反映真实患者和医生之间互动的复杂性，其中引入了患者自我诊断的情况。本研究通过修改美国医学考试中的多项选择题，将患者的自诊断报告纳入其中，提出了多种 LLMs。研究结果表明，当患者提出错误的偏见验证信息时，LLMs 的诊断准确性显著下降，自诊断存在较高的错误敏感性。
large language modelshealthcarecommunicationmedical examsself-diagnosis
发现论文，激发创造
  • 医学中的大型语言模型：潜力与陷阱

    大型语言模型在医疗保健领域已得到应用，从医学考试问题到回答患者问题。随着生产 LLM 的公司和医疗系统之间的机构合作增加，真实世界的临床应用越来越接近现实。随着这些模型的推广，医疗从业人员了解 LLMs 是什么，其发展过程，目前和潜在的应用以及在医学中利用时存在的问题非常重要。这篇综述和附带的教程旨在概述这些主题，以帮助医疗保健从业者了解 LLMs 在医学中的快速变化景观。

    Aug, 2023

  • 评估医学应用中的大型语言模型：一项调研

    综述医学领域中大型语言模型评估的现状、挑战以及将其负责地整合到临床实践中所需的持续研究和创新。

    May, 2024

  • 解读诊断：大型语言模型解释如何影响临床决策

    本研究探讨了大型语言模型在生成患者病情诊断解释方面的可靠性和有效性，实验证明大型语言模型生成的解释显著提高了医生对给定诊断的一致性，同时揭示了大型语言模型输出的潜在错误，在医疗保健领域中的潜力和挑战得到了强调，强调了在整合和评估过程中需要谨慎以确保患者安全和优化的临床效用。

    Oct, 2023

  • 通用到医疗应用的大型语言模型调查：数据集、方法论和评估

    大型语言模型（LLMs）在各种自然语言处理任务中表现出令人惊讶的性能。最近，结合领域特定知识的医学 LLMs 在医疗咨询和诊断方面展现出卓越能力。本文系统地探讨了如何基于通用 LLMs 训练医学 LLMs，并提供了指导各种医学应用的 LLMs 发展的方法。

    Jun, 2024

  • 大型语言模型多轮医疗咨询自动评估框架

    该研究介绍了一种自动评估框架，评估了大型语言模型作为虚拟医生在多轮咨询中的实际能力，通过重构来自美国医疗执照考试的医学多项选择题，提出了一个基准测试集，并开发了综合评估指标。研究结果表明，使用培训集对大型语言模型进行微调，可以减轻幻觉并提高其在所提出基准上的性能。

    Sep, 2023

  • 公共 LLMs 是否可用于医疗状况的自我诊断？

    该研究探讨了大型语言模型在医疗保健领域的应用，特别是在自我诊断方面，使用 Retrieval Augmented Generation 方法显示了在自我诊断任务中性能的潜力和改善。

    May, 2024

  • 在医学问题回答中探索大型语言模型的领域：观察和开放性问题

    通过评估各种流行的大型语言模型对医学问题的知识，我们能够更好地了解它们作为一个群体的特性。从这次比较中，我们提供了初步的观察结果并提出了进一步研究的问题。

    Oct, 2023

  • 医学中的大型语言模型综述

    在这篇论文中，我们回顾了大型语言模型（LLMs）的发展，重点关注医学 LLMs 的需求和应用。我们提供了现有模型的简要概述，旨在探索进一步的研究方向并使其对未来医学应用产生益处。我们强调了医学 LLMs 在应用中的优势，以及其发展过程中遇到的挑战。最后，我们提出了技术整合的方向来减轻挑战，并为医学 LLMs 的未来研究方向提供了建议，旨在更好地满足医学领域的需求。

    May, 2024

  • LLM-Mini-CEX: 大型语言模型的自动评估用于诊断对话

    为了提高诊断效率，增强医疗诊断的技术潜力，我们建立了一种评估标准 (LLM-specific Mini-CEX)，通过自动对话评估与 ChatGPT 的交互并替代人工评估，可以有效评估医疗诊断对话和比较不同 LLMs 之间的质量。

    Aug, 2023

  • 借助大型语言模型实现准确的鉴别诊断

    本研究介绍了一种为诊断推理进行优化的大型语言模型 (LLM)，并评估其生成独立诊断推理 (DDx) 或为临床医生提供辅助的能力。结果显示，在挑战性真实医学案例中，使用 LLM 辅助的临床医生在 DDx 质量和全面性方面表现优于未使用该辅助工具的医生，证明 LLM 为 DDx 提供了潜力，有望改善医生在复杂病例中的诊断推理和准确性。

    Nov, 2023