本研究提出了一种3D医学图像的方法——生成式文本引导3D视觉语言预训练。研究在Computed Tomography(CT)、Magnetic Resonance Imaging(MRI)和电子显微镜(EM)图像数据上进行了验证，结果表明该方法在医学图像分割任务中的效果优异。

Jun, 2023

本文提出了MDViT，这是第一个包含领域适配器的多领域ViT，通过自适应地利用多个小型数据资源 (领域)中的知识来减轻数据饥饿和对抗NKT，实现增强跨领域的表示学习。在 4 个皮肤病变分割数据集上的实验表明，MDViT 胜过了最先进的算法，在推理时具有更好的分割性能和固定模型大小，即使增加更多的领域。

Jul, 2023

利用多模态视觉语言模型从图像描述和图像中捕捉语义信息，实现对多样化医学图像的分割，并评估其在医学领域的迁移性和基于生成提示的模型性能变化。

Aug, 2023

医学图像分割是各种医疗应用中至关重要的一环，能够实现准确的诊断、治疗规划和疾病监测。最近，视觉变换器（ViTs）作为一种有望解决医学图像分割挑战的技术逐渐崭露头角。本综述论文对于医学图像分割中ViTs和混合视觉变换器（HVTs）的最新发展进行了详细的回顾。除了对ViT和HVT的分类外，还详细介绍了它们在几种医学图像模态中的实时应用。这篇综述可以作为研究人员、医疗从业者和学生了解ViT基于医学图像分割的最新方法的有价值的资源。

Dec, 2023

该研究揭示了残差型大型语言模型在生物医学图像任务中作为编码器的意外有效性，这在传统上与语言或文本数据无关。通过利用预训练的大型语言模型中的冻结变压器块作为创新编码器层，该方法与现有方法学不同，可以直接处理视觉标记。该研究发现，这些大型语言模型能够提升生物医学图像应用的性能，包括2D和3D的视觉分类任务，作为即插即用的增强器。更有趣的是，该提出的框架在MedMNIST-2D和3D的大规模标准数据集上取得了卓越的性能，刷新了最新的技术结果。通过这项工作，我们的目标是在生物医学图像领域开拓大型语言模型的应用新途径，并丰富对其在这一专业领域的潜力的认识。

Mar, 2024

基于transformer编码器，我们引入了一种称为VLSM-Adapter的新型适配器，它可以使用预训练的视听分割模型进行微调，我们的实验证明，仅有300万可训练参数的VLSM-Adapter优于最先进的技术，并且与上限末端微调具有可比性。

May, 2024

LLM-SegNet通过利用大型语言模型将任务特定知识融入我们的协作训练框架中，从而有效地利用无标注数据进行学习，最终达到更高效的分割效果。此外，为了进一步减少错误分割，我们提出了一种统一分割损失函数，它不仅优先考虑模型在前景和背景像素预测上的自信程度高的区域，还能有效地处理模型对预测缺乏高置信度的区域。实验证明LLM-SegNet相比最先进的模型在公开数据集上表现出更出色的性能，并进行了多项消融研究以证明LLM-SegNet所利用的各种模块和损失函数的有效性。

Jul, 2024

本研究针对传统医学图像分割方法在特定病灶识别中的不足，提出了一种新的医学图像引导分割任务（MIRS）。通过引入语言引导尺度感知医学分割器（LSMS），结合了尺度感知视觉-语言注意模块和全尺度解码器，显著提升了病灶定位和分割的准确性。实验结果表明，LSMS在多种数据集上的表现优于现有方法，且计算成本更低。

Aug, 2024

本研究针对传统医学图像分割方法在诊断和治疗中特定病灶识别不足的问题，提出了一种新的医学图像参考分割任务（MIRS）。通过引入语言引导尺度感知医学分割器（LSMS），本文采用了尺度感知视觉-语言注意模块和全尺度解码器，显著提升了对病灶的定位与分割准确性，并构建了参考肝病变分割（RefHL-Seg）数据集以验证方法的有效性。该研究为医学图像分割提供了新的视角和更高的效率。

Aug, 2024

本研究针对现有医学影像分割方法在利用先验知识方面的不足，提出了一种新颖的文本引导大型多模态模型TG-LMM。该模型通过整合专家对器官空间位置的描述，结合预训练的图像和文本编码器，显著提高了分割精度，并在多个权威医学影像数据集上表现优异，超越了现有方法。

Sep, 2024