该研究提出了一种包括多步骤评估法的大型语言模型（LLM）评估范例，通过结构化的交互方式进行多模态 LLM 评估，并通过获取交互数据进行后续领域特定的分析，以提高其准确性和实用性。研究以 GPT-4-Vision-Preview 为 LLM，使用多模态多项选择题评估其在病理学领域的医学诊断准确性，结果表明其约有 84% 的正确诊断，同时通过进一步的分析揭示了其在特定领域的不足之处。该方法和结果不仅适用于 GPT-4-Vision-Preview，还可应用于评估其他 LLMs 的准确性和实用性，以进一步优化其应用。

Jan, 2024

通过构建专业水准的最大、最高质量的病理学基准测试 PathMMU，我们对大型多模态模型的发展和精确评估进行了研究，发现高级多模态模型在面临挑战性的 PathMMU 基准测试中表现不佳，而且即使进行优化，也无法达到病理学家的专业水准。

Jan, 2024

本论文介绍了一种将大型语言模型（LLMs）的语言推理能力与本地训练的优势相结合的方法，以解决复杂的领域特定任务。通过从病理报告中提取结构化病情编码，作者演示了他们的方法。研究结果表明，基于 LLaMA 的模型在所有评估指标上明显优于 BERT 型模型，尤其在大型数据集上表现出色，为处理复杂的多标签任务提供了可能性。这项工作提出了一种有效的方法，利用 LLMs 在易于获得的硬件上执行领域特定任务，在需要复杂数据提取和分类的医学领域具有潜在应用。

Aug, 2023

利用生成性人工智能进行医学图像的放射学报告撰写可极大地减少了时间成本和错误率。本研究中，我们提出了一个简单而有效的两阶段微调方案，通过软性视觉提示将视觉特征与大型语言模型的文本嵌入空间对齐。我们的框架在没有领域特定预训练的情况下取得了最先进的性能，并对软性视觉提示和注意力机制进行了详细分析，为未来的研究方向提供了启示。

Dec, 2023

该研究通过多模态大型语言模型（LLMs）作为辅助工具，检视放射科医生报告中的错误，取得良好的效果，对放射学诊断准确性的提升具有潜力。

Dec, 2023

在本文中，我们介绍了 MID-M 这一创新框架，利用通用领域的大规模语言模型（LLM）的上下文学习能力，通过图像描述来处理多模态数据，其在性能上与任务特定的精调 LLMs 和其他通用领域的 LLMs 相当或更为出色，无需广泛域特定训练或多模态数据的预训练，参数更少，突出了利用通用领域 LLMs 进行领域特定任务的潜力，并为传统 LMM 发展提供了可持续和经济高效的替代方案。此外，MID-M 对于数据质量问题的稳健性证明了其在实际医学领域应用中的实用性。

Apr, 2024

本研究旨在调查利用 GPT3.5-turbo（GPT3.5）进行放射学报告的 TNM 分级的准确性及多语种 LLMs 在日语和英语中的实用性。通过分析多语言 TNM 定义对准确性的影响，研究表明提供完整的 TNM 定义可明显提高放射学报告的分类准确性，且多语种 LLMs 在放射学领域具有潜在应用价值。

Jun, 2024

该论文提出了一套实用的机器学习评估指南，旨在应对病理图像应用中存在的各种问题，包括标签变异性、领域偏移、鲁棒性和混淆变量等，以进一步改善患者结果。

Apr, 2022

研究了 8 种大型语言模型对放射学报告印象进行总结的能力，使用 CT、PET-CT 和超声波报告构建零、一、三次扫描提示，并定义了五项人工评价指标以评估印象的语义，结果显示大型语言模型在完整性和正确性方面表现较好，但简洁性和真实性评分不高，并指出少量扫描提示可以提高模型的简洁性和真实性，但临床医师仍认为大型语言模型不能取代放射学家的总结能力。

Jun, 2024

使用大型语言模型（Flan-T5 XXL）从非结构化电子健康记录（EHR）数据中检索和总结与特定查询相关的论据，较传统信息检索方法更受放射科医生欢迎，但面临 LLMs 产生虚构证据的挑战。然而，模型的信心可能指示 LLMs 是否存在虚构，为解决此问题提供了潜在方法。

Sep, 2023