该论文介绍了我们在 MEDIQA-CORR 共享任务中的方法，该任务涉及医学专业人员策划的临床笔记中的错误检测和更正。我们的工作旨在评估在包含事实和不可靠信息的海量互联网数据上训练的大型语言模型（LLM）的能力。我们建议综合处理所有子任务，并建议采用独特的基于提示的上下文学习策略。我们将评估其在结合一般推理和医学知识的专门任务中的功效。在预测错误可能导致严重后果的医学系统中，我们建议利用自洽性和集成方法来提高错误更正和错误检测性能。

May, 2024

医疗文件中的医疗错误对患者安全构成重大风险。本文介绍了我们在三个子任务中均取得顶尖表现的方法，即错误检测、错误句子提取和生成纠正句子。我们利用外部医学问答数据集开发了一套基于检索的系统用于处理微妙错误的 MS 数据集，同时对于反映更真实的临床记录的 UW 数据集，我们创建了一个模块化流程来检测、定位和纠正错误。这两种方法都利用 DSPy 框架来优化大型语言模型程序中的提示和少样本示例。我们的结果表明，基于大型语言模型的程序对于医疗纠错非常有效，但是我们的方法在解决医疗文档中潜在错误的全面多样性方面存在局限性。我们讨论了我们工作的影响，并强调了未来研究方向，以提高医疗错误检测和纠正系统的鲁棒性和适用性。

Apr, 2024

通过提取上下文相关的信息、构建监督学习框架和整合领域专业知识，本研究聚焦于提高医疗信息的准确性，并强调了人本主义策略在适应医疗人工智能中的重要性。

Apr, 2024

本研究通过对临床语言理解任务的全面评估和引入一种新的提示策略 —— 自问自答提示（SQP），来提高大型语言模型 (GPT-3.5、GPT-4 和 Bard) 在医疗相关任务中的性能，同时还提供了有关挑战性关系抽取任务误差分布和潜在改进方法的有价值洞察。此项研究为之后的研究和开发医疗应用奠定了基础。

Apr, 2023

大型语言模型在临床应用中的关键性挑战是对其进行有效的对齐，以实现准确生成具备事实内容和非平凡推理能力的响应。本研究提出了一种名为 “扩展 - 猜测 - 精化” 的医学问题回答的对齐策略，该策略通过采用指令调整和少样本以及连续思考等方法显著提高了大型语言模型的性能。初步分析表明，该方法在从 USMLE 数据集中选取的问题子集上达到了 70.63% 的优异表现。

Sep, 2023

本文综合系统地对五个临床自然语言处理任务（临床意义消除、生物医学证据提取、共指消解、药物状态提取和药物属性提取）的提示工程进行了实验研究，评估了多种提示类型在三种先进的大型语言模型（GPT-3.5、BARD 和 LLAMA2）上的性能，并提出了对临床 NLP 领域提示工程的新见解和指南。

Sep, 2023

本文介绍了我们在 MEDIQA-Chat 2023 共享任务中对于从医生 - 患者对话自动生成临床笔记的提交。我们报道了两种方法的结果：第一种微调共享任务数据上的预训练语言模型（PLM），第二种使用大型语言模型（LLM）进行少量样本的上下文学习（ICL）。两种方法在自动指标（如 ROUGE，BERTScore）上均实现了高性能，并分别排名共享任务的二和一位。专业人士的审查表明，通过基于 ICL 的方法和 GPT-4 生成的笔记与人工书写的笔记一样受欢迎，这使其成为从医生 - 患者对话自动生成笔记的有前途的途径。

May, 2023

本研究评估了 GPT-3.5、GPT-4、Falcon 和 LLaMA 2 等最先进的大型语言模型在从出院摘要中识别患有轻度认知障碍（MCI）的患者的能力，并检查模型响应与其推理不一致的情况。研究结果强调了提示工程的重要性和对 GPT-4 中观察到的意外推理 - 响应不一致性进一步探索的需求，突显了将大型语言模型应用于医疗诊断的潜力，前提是在方法论上取得进步以确保人工智能生成的输出准确性和临床连贯性，从而提高大型语言模型在医疗决策中的可信度。

Dec, 2023

GPT4 可以通过使用诊断推理提示模拟临床医生的常见临床推理过程，而不会损失诊断准确性，因此它可以为医生提供评估 LLMs 是否可信赖用于患者护理的手段。新的提示方法有潜力揭示 LLMs 的黑盒子，将它们推向在医学中安全有效使用的一步。

Aug, 2023

研究了 GPT-3.5 在实际世界中具有强大推理能力和专业领域知识的应用能力，使用了多项提示方法（CoT、零和少量训练以及检索增强），并在医学考试和阅读理解领域取得了人类水平表现。

Jul, 2022