Jun, 2023

Quilt-1M：组织病理学的一百万张图像文本配对

HTML
PDF
TL;DR通过从YouTube等多种资源中收集图像和文本，我们构建了一个大规模的视觉语言数据集Quilt-1M，其中共包含100万个成对的图像和文本样本，这是到目前为止规模最大的组织学图像和文本数据集，并通过微调预训练的CLIP模型在13个 diverse patch-level数据集和跨模态检索任务中优于最先进的模型。
发现论文，激发创造
  • 视觉语言预训练多实例零样例迁移用于组织病理学图像

    提出了MI-Zero框架，它将对比可视语言预训练模型的零射频转换重构为多实例学习，以在吉盘组织学全幻灯片图像上释放其零射频转换能力，从而在预先训练的编码器不需要任何额外的标签的情况下进行多个下游诊断任务。

    Jun, 2023

  • 计算病理学的视觉-语言基础模型探索

    CONCH是一个基于多种来源的组织病理学图像、生物医学文本和117万图像标题对的视觉语言基础模型，可在涉及组织病理学图像和文本的各种下游任务中实现最先进的性能，为机器学习基于工作流程提供极少或无需进一步监督微调的可能性。

    Jul, 2023

  • 组织病理学的领域特定优化和多样化自监督模型评估

    建立和评估组织病理学基础模型在自我监督学习中的价值，并发现领域特定方法可以进一步提高性能。

    Oct, 2023

  • MyriadAL：组织病理学的主动少样本学习

    在这项研究中，我们提出了一种主动少样本学习框架，名为Myriad Active Learning（MAL），该框架利用对无标签数据的自我监督处理和聚类知识作为激活主动学习循环的基础，并通过优化编码器上的浅层任务网络来改善伪标签的生成和主动学习查询选择过程，进而减少样本的冗余性，并且在两个公共组织病理学数据集上的广泛实验证明，MAL相较于之前的方法具有更高的测试准确性、宏F1分数和标签效率，并且能在只对数据集的5%进行标注的情况下达到与完全监督算法可比的测试准确性。

    Oct, 2023

  • Quilt-LLaVA：通过从开源组织组织的组织病理学视频中提取本地化的叙述来进行视觉指导调整

    通过Quilt-Instruct数据集和Quilt-LLaVA模型，本研究提出了一种能够在全幅切片图像中进行诊断推理和空间感知的多模态组织病理学问答系统。该模型在多个公共组织病理数据集上表现出比SOTA模型高出超过10%的性能。

    Dec, 2023

  • 基础模型的低资源化微调在组织病理学中超越了现有技术水平

    通过细化基础模型，仅经历两小时或三天的单个GPU训练，我们可以在计算病理学中的特征提取上相媲美或超越现有的方法，这表示即使资源有限，也可以针对特定下游任务和数据集训练一个定制的特征提取器。

    Jan, 2024

  • HistGen: 通过局部-全局特征编码和跨模态上下文交互实现的组织病理报告生成

    通过本研究，我们首次引入HistGen，一个采用多实例学习的框架用于组织病理学报告生成，并提供了用于评估的基准数据集。该模型通过两个精心设计的模块来提高报告生成的效率，从而加强了临床效果。实验结果表明该模型在报告生成方面表现优于现有最先进模型，并且在癌症亚型和生存分析任务上的微调表明具有很强的迁移学习能力。

    Mar, 2024

  • 基于模型的 QUILT-1M 病理学数据集清洗用于文本条件图像合成

    通过使用自动化流程和语义对齐筛选图像与文本对，我们的研究发现从QUILT-1M数据集中滤除常见杂质可显著提高文本到图像任务中的图像保真度。

    Apr, 2024

  • 基于文本的定量和可解释的组织病理图像分析

    通过将图像与文本进行对齐，利用预先训练的视觉语言模型对组织病理图像进行定量分析，并生成可理解的特征嵌入。通过应用于聚类和分类任务，证明了TQx能够与计算病理学中广泛使用的视觉模型相媲美地量化和分析病理图像。

    Jul, 2024

  • 提升视觉-语言模型在组织病理学分类中的表现：一次性预测

    本研究解决了当前组织病理学领域视觉-语言模型在逐块独立分类中的不足，提出了一种新的传导方法，通过结合文本预测和块间的亲和关系来提升模型性能。实验表明，该方法在四个数据集上大幅提高了分类准确度，且高效地处理了大量数据，展示了其在无标签条件下的强大潜力。

    Sep, 2024