通过使用设计精心的提示，我们展示了 GPT 作为熟练标注器的潜力。利用只有 GPT 标记的数据，我们训练了基于 BERT 的标注器 CheX-GPT，其操作速度更快、更高效。为了评估标注器的性能，我们引入了一个公开可用的专家标注测试集 MIMIC-500，包含来自 MIMIC 验证集的 500 个案例。我们的研究结果证明了 CheX-GPT 不仅在标注准确性上优于现有模型，而且在效率、灵活性和可扩展性方面也表现出色，得益于我们引入的 MIMIC-500 数据集进行强大的基准测试。代码和模型可以在此链接找到。

Jan, 2024

本研究介绍了 XrayGPT，一种新型的会话式医疗视觉 - 语言模型，可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，我们的模型能够具备出色的视觉会话能力，从而深入理解放射学和医学领域的知识。

Jun, 2023

在医疗笔记和对话中，非结构化文本具有丰富的信息。最近大型语言模型（LLMs）的进展展示了对非结构化文本数据的问题回答和摘要任务的卓越性能，超过了传统的文本分析方法。然而，在文献中缺乏有系统地评估和报告不同 LLMs 性能的科学研究，特别是针对医疗病历等特定领域数据。我们提出了一种评估方法来分析开源 LLMs（如 Llama2 和 Mistral）在医疗摘要任务中的性能，使用 GPT-4 作为评估器。我们创新的 LLMs 定量评估方法可以实现质量控制，支持为特定任务选择有效的 LLMs，并推进数字健康领域的知识发现。

May, 2024

探究专有和开源大型语言模型在患者试验匹配任务中的有效性，并证明在有限和合成数据集上进行微调后，开源模型与专有模型性能相当，从而为它们在实际医疗应用中的部署提供了巨大机会。

Dec, 2023

该研究调查了大型语言模型（LLMs）在内科专科多项选择测试能力方面的医学知识能力，与 GPT-4 和 Claude 2 相比，当前广泛使用的开源 LLMs 在零 - shot 推理能力方面表现不佳。

Aug, 2023

本论文评估了目前最先进的大型语言模型 GPT-4 在放射学报告的文本应用中的表现，探索了各种提示策略，并发现 GPT-4 在常见放射学任务中表现要优于或与目前最先进的放射学模型相媲美。针对需要学习特定样式或架构的任务，GPT-4 通过基于示例的提示得到改进并与监督的最先进模型相匹配。通过与一名获得认证的放射科医生的广泛错误分析表明，GPT-4 在放射学知识方面具备足够水平，只偶尔在需要微妙领域知识的复杂上下文中出现错误。针对发现的总结，GPT-4 的输出整体上与现有的人工编写印象相当。

Oct, 2023

使用大型语言模型对医学成像报告进行评估的一项新颖评估框架，通过与放射科医生评估结果的对比，提出了一种性能接近 GPT-4 的度量标准。为了降低成本并提高可访问性，利用语言模型评估结果构建数据集，进行了知识蒸馏以训练较小的模型，该模型的评估能力与 GPT-4 相当，为医学成像报告生成提供了一种易于使用和高效的评估方法，促进了更具临床相关性的模型的开发，该模型将进一步开源和提供可访问性。

Apr, 2024

本研究从大语言模型在辨别虚假信息方面的应用出发，探讨了 GPT-4、Zephyr-7b 等模型的优劣，并指出开源模型逐渐在该任务上赶超其他模型，同时呈现出 GPT-3.5 性能不稳定的现象。研究还验证了结构化输出方法和最新版本的 GPT-4（Turbo），证明它们在性能上没有妥协，从而为未来研究解锁了更复杂的虚假信息缓解管道。

Jan, 2024

研究比较了开源的大型语言模型（LLMs），ChatGPT 和人工服务（如 MTurk）在文本标注任务中的表现。 发现开源 LLMs 在高效性，透明性，可再现性和数据保护方面具有竞争力，虽然 ChatGPT 在大多数任务中表现最好，但开源 LLMs 在特定任务中也有较高的竞争潜力。

Jul, 2023

通过使用 GPT-4 对多个开源语言模型的反馈进行评估，本研究探讨了大型语言模型在教育领域中生成反馈的质量，并发现一些模型在性能上可以与专有的语言模型竞争，从而为其在教学环境中的负责任使用提供机会。

May, 2024