本文研究了计算病理学的视觉表征学习问题，通过利用来自公共资源的大规模图像 - 文本对和病理学中的领域特定知识。我们首次构建了包含 50,470 个有信息量的属性、涵盖 32 种人体组织下的 4,718 种需要病理诊断的疾病的病理知识树。我们开发了一种基于知识增强的视觉 - 语言预训练方法，通过语言模型将病理特定知识投射到潜在嵌入空间中，并用于引导视觉表征学习。我们进行了全面的实验证明了我们提出的组件的有效性，在不同的下游任务中，包括跨模态检索、病理图块上的零样本分类以及整个切片图像上的零样本肿瘤亚型划分，都取得了显著的性能提高。所有代码、模型和病理知识树将提供给研究社群。

Apr, 2024

介绍了一种名为全景肾脏病理分割 (PrPSeg) 的新型通用命题学习方法，通过整合广泛的肾脏解剖学知识，全面地分割肾脏内的全景结构，并提出了肾脏病理的综合通用命题矩阵设计、基于标记图像分割的动态头算法架构和衡量肾脏内物体间关系的解剖损失函数。

Feb, 2024

本文介绍了 Radiology-GPT，它是专门为放射学领域设计的大型语言模型，通过在广泛的放射学领域知识数据集上进行指令调整，Radiology-GPT 在放射诊断、研究和沟通方面表现出优越性能，是未来临床自然语言处理发展的催化剂，并且为将生成型大型语言模型定位到特殊医疗专业方向提供了可能性，同时确保符合 HIPPA 的隐私标准。

Jun, 2023

数字病理学中的肾细胞癌的数字化切片数据的注释对于正确诊断人工智能模型至关重要，通过增强数据适用性和提高预测精度，这些进展突显了数字病理学领域中更精细和准确的人工智能应用的潜力。

Mar, 2024

利用大规模全扫描图像数据集和多模型协作的方法，生成高质量的图像 - 文本对，为病理学领域的 Vision Language Models 进行训练和指导调优，从而显著提高其分析病理图像的能力，并为下一代通用病理模型铺平了道路。

Jun, 2024

基于 BLIP-2 框架，使用病理报告中的精选文本与整张切片图像配对，开发了一种视觉语言模型，实现了共享的图像 - 文本嵌入空间，如文本或图像检索以寻找感兴趣的案例，以及将 WSI 编码器与冻结的大型语言模型（LLM）集成，以实现基于 WSI 的生成文本能力，如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上，展示了病理医师对文本生成和文本检索的评估，以及 WSI 分类和工作流程优先级排序（切片级别的分流）。平均来说，根据病理医师的评估，78％的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。

Jun, 2024

本文介绍了一种基于视觉和大型语言模型的皮肤科诊断系统 SkinGPT，可以自动诊断皮肤病的特征和类别，并提供治疗建议，实现了本地部署和用户隐私保护。

Apr, 2023

本研究证实数字病理学结合人工智能可以用于疾病诊断以及提高诊断准确率并通过相似案例的可视化检查和计算机多数表决来帮助病理医生。在该研究中，通过搜索最大的公共存储库之一，本文显示出当足够的可搜索案例数量可用于每种癌症亚型时，计算机一致性似乎可以用于诊断。

Nov, 2019

提出了一种文本 / 图像深度学习系统，通过融合自然语言处理技术相互作用，在病人扫描图像中生成语义标签，预测辐射学水平中的语义主题并自动生成关键词。

May, 2015

使用全幻灯片图像生成病理报告的多示例生成模型 (MI-Gen) 可减轻经验不足的病理医生的工作负担并提高临床自动化，同时简单的语义提取可以实现最佳性能且公开可用。

Nov, 2023