本文提出了PathAsst，一种生成式AI助手，利用了ChatGPT/GPT-4和Vicuna-13B语言模型与CLIP视觉编码器，对142K高质量病理图像文本对进行了训练。结果表明，利用这种AI模型可以改善病理诊断和治疗过程。

May, 2023

通过Quilt-Instruct数据集和Quilt-LLaVA模型，本研究提出了一种能够在全幅切片图像中进行诊断推理和空间感知的多模态组织病理学问答系统。该模型在多个公共组织病理数据集上表现出比SOTA模型高出超过10%的性能。

Dec, 2023

PathChat是一种通用的、视觉-语言人工智能助理，经过预训练的视觉编码器与预先训练的大规模语言模型相结合，可用于病理学的教育、研究和临床决策。

Dec, 2023

利用指令调整（instruction tuning）技术，对两个规模庞大的通用语言模型进行研究，以期在生物医学自然语言处理任务上取得类似于BioBERT和BioClinicalBERT等特定编码器模型的结果，并提供了相应的代码、模型和基于指令的数据集。

Dec, 2023

本文研究了计算病理学的视觉表征学习问题，通过利用来自公共资源的大规模图像-文本对和病理学中的领域特定知识。我们首次构建了包含50,470个有信息量的属性、涵盖32种人体组织下的4,718种需要病理诊断的疾病的病理知识树。我们开发了一种基于知识增强的视觉-语言预训练方法，通过语言模型将病理特定知识投射到潜在嵌入空间中，并用于引导视觉表征学习。我们进行了全面的实验证明了我们提出的组件的有效性，在不同的下游任务中，包括跨模态检索、病理图块上的零样本分类以及整个切片图像上的零样本肿瘤亚型划分，都取得了显著的性能提高。所有代码、模型和病理知识树将提供给研究社群。

Apr, 2024

我们提出了一种新的对齐算法，利用临床推理的符号化表示来将视觉语言模型(VLMs)与医学知识联系起来，从而生成与临床推理和诊断路径一致的多轮对话，并在多轮医学对话中展示出强大的性能。

May, 2024

通过创建Med-GRIT-270k数据集和使用多任务学习，我们提出了用于生物医学的指示型多模态大型语言模型(BiRD)，并通过大量实验证明了该数据集和BiRD模型在交互能力和智能生物医学助理的探索和开发上具有显著的参考价值。

Jun, 2024

本研究解决了现有病理图像理解模型缺乏领域专用性的难题，提出了一种专为病理图像理解开发的大型语言-视觉助手PA-LLaVA。通过构建清洗过的病理图像-文本数据集并采用两阶段学习方法，研究发现PA-LLaVA在多模态模型中表现出最佳性能，具有推动计算病理学研究的潜力。

Aug, 2024

本研究解决了当前计算病理学中深度学习模型的局限性，提出了一种整合基础模型和视觉语言模型的新方法。通过系统性调研，展示了这些模型在病理学报告中的应用潜力及其对病理学诊断流程的重大影响。研究结果表明，这些模型可以显著改善病理学的评估与决策过程。

Aug, 2024

本研究针对现有多模态大型语言模型在全切片病理分析中缺乏整体上下文理解的问题，提出了SlideChat，这是一种能够理解千亿像素全切片图像的视觉-语言助手。通过创建包含4.2K个WSI标题和176K个VQA对的SlideInstruction数据集，SlideChat在多个临床场景中展示了卓越的多模态对话能力，超越了现有多模态模型，具有85%的主流任务性能提升潜力。

Oct, 2024