Oct, 2024

AttriPrompter：基于属性语义的自动提示用于零样本核检测的视觉-语言预训练模型

HTML
PDF
TL;DR本研究解决了在组织病理学图像上进行零样本核检测时，现有视觉-语言预训练模型（VLPM）表现不佳的问题。通过提出一种名为AttriPrompter的创新自动提示管道，该方法生成语义丰富的文本提示并结合自训练知识蒸馏框架，显著提高了核检测的准确性和泛化性。本工作展示了VLPM在医学领域的潜在应用，超越了传统无监督方法的限制。
发现论文，激发创造
  • 生物医学视觉语言处理的大规模领域特定预训练

    本文介绍了BiomedCLIP在生物医学视觉语言处理方面的应用，该方法针对生物医学VLP进行改进和优化，实验结果显示，BiomedCLIP已成为标准数据集中广泛应用于检索、分类和视觉问答等任务的新的最佳模型，且在某些领域甚至胜过了目前的最新模型。

    Mar, 2023

  • 视觉语言预训练多实例零样例迁移用于组织病理学图像

    提出了MI-Zero框架，它将对比可视语言预训练模型的零射频转换重构为多实例学习，以在吉盘组织学全幻灯片图像上释放其零射频转换能力，从而在预先训练的编码器不需要任何额外的标签的情况下进行多个下游诊断任务。

    Jun, 2023

  • 基于视觉-语言预训练模型的零样本核团检测

    该论文探讨了如何使用以大规模自然图像文本对为预训练基础的VLPM模型，在医学图像检测中实现零样本细胞核检测，并提出了一种基于自动提示设计管道的框架。通过自我训练，该方法在无标签的情况下表现出优异的细胞核检测性能，并展示了VLPM在医学领域中的巨大潜力。

    Jun, 2023

  • 基于核心感知的自监督预训练：使用图像对图像转换技术的非配对组织病理学图像

    提出一种新颖的基于细胞核感知的自监督预训练框架，通过组织病理图像与伪掩膜图像之间的无配对图像转换来捕获细胞核形态和分布信息，并采用条件和随机样式表示来调节生成过程，以实现预训练图像的真实性和多样性；同时，采用实例分割引导策略来捕获实例级信息。实验结果表明，该预训练方法在Kather分类、多实例学习和5个密集预测任务上优于有监督方法，并且在8个半监督任务上比其他自监督方法取得了更好的结果。

    Sep, 2023

  • 释放基于提示驱动的核实例分割的力量

    本研究提出了一种新颖的基于提示的框架，包括一个点提示器和一个用于自动核实例分割的段装置模型。通过学习为每个细胞核生成唯一的点提示，并将段装置模型微调为输出相应的细胞核掩模，我们的方法在三个具有挑战性的基准测试上取得了最新的性能。

    Nov, 2023

  • Segment Any Cell: 基于SAM的自动提示微调框架用于细胞核分割

    通过引入改进的像素级图像分割模型Segment Any Cell (SAC)，结合自动生成的实用提示和先进的Fine-Tuning技术，在核分割领域实现了优于现有SOTA方法的性能提升。

    Jan, 2024

  • UN-SAM：通用无提示分割广义细胞核图像

    提出了一种全自动解决方案，名为通用无提示的SAM框架(UN-SAM)，用于细胞核分割，具有优异的泛化能力，通过自动生成高质量掩膜提示来引导分割任务，并利用可学习的域查询来进行不同核域中的分割。

    Feb, 2024

  • 预训练视觉语言模型中的伪提示生成，面向多标签医学图像分类

    该研究介绍了一个新的提高医学图像识别性能的方法，利用预训练视觉-语言模型和伪提示生成来实现多标签分类和自动诊断，对比实验证明了其在多标签胸部放射图数据集上的卓越性能。

    May, 2024

  • CPLIP: 全面的视觉-语言对齐下的组织病理学零样本学习

    该研究提出了一种名为综合病理语言图像预训练（CPLIP）的无监督技术，用于增强组织病理学中图像和文本的对齐，以进行分类和分割等任务。CPLIP通过利用大量数据而不需要地面真实注释，来丰富视觉-语言模型。通过构建特定于病理学的词典、使用语言模型为图像生成文本描述，并通过预训练模型检索每个文本片段的相关图像，再运用多对多对比学习方法对模型进行微调，以使复杂的相关概念在两种模态之间对齐。在多个组织病理学任务中进行评估，CPLIP在零样本学习场景中显示出显著的改进，超越了现有方法在可解释性和鲁棒性方面，并在该领域中树立了更高的基准。为了鼓励进一步的研究和复制，CPLIP的代码可在GitHub上获取。

    Jun, 2024

  • 自动图像数据标注的分段模型：基于Grounding DINO的文本提示的实证研究

    通过对八个公开数据集的实证研究，揭示了参考表达理解 (REC) 框架在特定领域中存在的预测错误问题，并提出了一种简单的策略来减轻这些错误，进而改进了基于 REC 的检测和自动分割，同时报告了在多个专业领域中使用 SAM 技术进行分割的性能显著提高和节省注释时间。

    Jun, 2024