Jan, 2024

医学图像分类的基于提示的潜在领域泛化

PDF
TL;DR我们提出了一种名为 Prompt-driven Latent Domain Generalization（PLDG）的新型无标签领域通用化（DG）框架，通过无监督领域发现和提示学习，实现了对医学图像分类的领域通用化，并在三个医学图像分类任务和一个去偏任务上展开了广泛实验，证明了我们的方法在不依赖领域标签的情况下实现了与传统 DG 算法相媲美甚至更好的性能。
deep learningmedical image analysisdomain generalizationunsupervised domain discoveryprompt-driven latent domain generalization
发现论文，激发创造
  • 跨域泛化的过渡式视觉 - 语言提示学习

    通过使用深度视觉提示以解决域不变性问题，结合语言提示以确保类别可分离性，以及自适应权重机制来平衡域不变性和类别可分离性，本文介绍了一种新的提示学习策略，并通过广泛实验证明深度视觉提示有效提取域不变特征，显著提高深度模型的泛化能力，在三个数据集上取得了最先进的性能。

    Apr, 2024

  • 推动科学中的 AI 公平性：通用领域提示学习助力面向普及的 VLM 研究

    大规模视觉语言模型（VLMs）在自然视觉任务中表现出色，推动跨领域的研究者探索特定领域的 VLMs。然而，构建强大的特定领域 VLMs 需要大量的注释数据、大量的电能和计算资源，这些主要是工业界可用的，却制约了学术界对 VLMs 的研究。为了解决这个挑战，促进可持续和公平的 VLMs 研究，我们提出了广义领域提示学习（GDPL）框架。GDPL 通过小规模的特定领域基础模型和最少的提示样本，使 VLMs 的强大识别能力从自然视觉转移到特定领域，而无需大量数据或资源。通过四元网络，GDPL 利用特定领域的基础模型和最少的提示样本为语言分支赋予领域知识，揭示特定领域视觉特征与自然视觉上下文嵌入之间的跨模态关系。同时，GDPL 通过生成的视觉提示特征的分层传导，将视觉分支引向特定领域，建立与视觉语言关系匹配的基础。此外，为了充分发挥 VLMs 的领域自适应潜力，我们引入了一种新颖的低秩自适应方法。对遥感、医学成像、地质学、合成孔径雷达和流体动力学等不同领域的大量实验证明了 GDPL 的有效性，并展示了在提示学习范式下实现最先进的领域识别性能的能力。我们的框架为可持续和包容性的 VLMs 研究铺平了道路，消除了学术界与工业界之间的障碍。

    May, 2024

  • TDG: 文本引导的领域泛化

    通过引入额外的文本信息，本文提出了一种新的基于文本引导的域泛化（TDG）范式，其中包括自动词语生成、基于提示学习的文本特征生成以及利用图像特征和生成的文本特征来训练分类器，提高域泛化性能的技术都以一种易于实现的方式融入到 TDG 中。在几个域泛化基准上的实验结果表明，我们提出的框架通过有效利用生成的文本信息在域泛化中取得了卓越的性能。

    Aug, 2023

  • 更好的伪标签：用于半监督领域通用问题的联合领域感知标签和双分类器

    本文提出了一种新颖的深度框架，利用半监督域泛化技术，通过联合领域感知标签和双分类器生成高质量的伪标签来解决从观察源域到预测未知目标域之间的领域差异问题，同时当准确的伪标签为无标签源域生成时，使用域混合操作增加标记和未标记域之间的新域，有助于提高模型的泛化能力，并在公开的 DG 基准数据集上展示了所提出的 SSDG 方法的有效性。

    Oct, 2021

  • 领域泛化的软提示生成

    大型预训练视觉语言模型（VLMs）在下游任务中展现出令人印象深刻的零 - shot 能力，但人工设计的提示对特定领域不够优化。本文提出了一种用于下游任务的软提示方法，通过在特定域数据上进行微调，将软提示作为学习向量。我们从生成的角度重构了提示学习框架，并提出了一种简单而高效的域泛化（DG）任务方法，即软提示生成（SPG）。在训练阶段，我们引入了每个领域的软提示标签，以融合生成模型的领域知识。在推理阶段，生成模型的生成器被用来获取未知目标域的实例特定软提示。对三个域泛化任务的五个领域泛化基准进行的大量实验证明了我们提出的 SPG 方法达到了最先进的性能。代码将很快提供。

    Apr, 2024

  • 医学图像分析领域广义化综述

    医学图像分析（MedIA）作为计算机辅助诊断系统中的关键工具，近年来随着深度学习（DL）的进步而崭露头角。然而，当训练良好的深度模型在不同的医学站点、模态和序列上部署时往往会遇到显著的性能下降，即域偏移问题。针对这一问题，医学图像域泛化（DG）旨在通过在未知数据分布中有效泛化和鲁棒地执行，解决域偏移挑战。本文对该领域的重要发展进行了综述，包括对域偏移和医学领域域泛化的正式定义以及几个相关设置的讨论。随后，我们从数据操作、特征表示和模型训练三个角度总结了最近的方法，并详细介绍了每个角度的一些算法。此外，我们介绍了常用的数据集。最后，我们总结了现有文献，并提出了一些未来的潜在研究课题。为了支持此次调研，我们还创建了一个 GitHub 项目，收集了相关资源，链接为：https://this-URL-github-project

    Feb, 2024

  • 深度领域泛化的多组分图像转换

    通过生成对抗网络生成的合成数据和应用 DA 方法到 DG 场景的协议，作者提出了两种方法来解决领域泛化挑战，并在四个跨领域基准数据集上进行了大量实验。实验结果表明，所提出的模型在 DG 方面优于当前最先进的方法。

    Dec, 2018

  • 具有类别感知对齐的强健领域无关泛化

    该论文提出了 Domain-Free Domain Generalization (DFDG)，一种模型无关的方法，通过学习领域不变的类别判别特征来实现更好的领域泛化性能，具体方法包括使用类别条件软标签来对齐样本的类别关系，使用显著性图来消除训练输入中的表面观察，并在时间序列传感器和图像分类的公共数据集上获得了具有竞争性的性能。

    Feb, 2021

  • 领域对抗深度图像生成用于领域泛化

    本文介绍了一种基于深度生成对抗网络的领域泛化方法，通过生成新的数据使学习模型适应未知的测试领域，从而提高模型的准确性和鲁棒性。

    Mar, 2020

  • 边缘传递学习实现域泛化

    提出了领域泛化问题的形式框架，主要是在标记的训练集数据来自于几个相关的预测问题的情况下，通过扩充原特征空间来增加特征向量的边际分布，以期在未知的未标记数据集上获得精确的预测。针对核方法，提供了更多的定量结果和通用一致的算法，并在一个合成和三个真实世界的数据集上做了实验比较.

    Nov, 2017