ICCVJul, 2023

PatchCT：使用条件传输将分割集和标签集对齐，用于多标签图像分类

PDF
TL;DR本研究论文探讨了多标签图像分类问题，介绍了条件传输理论以弥合视觉补丁和语义标签之间的潜在空间的语义一致性差距，并将多标签分类问题重新表示为条件传输问题。实验证明，该模型在三个公共图像基准任务中 consistently outperforms the previous methods.
multi-label image classificationsemantic consistencyconditional transportlatent spacecross-modal attention-based studies
发现论文，激发创造
  • 用于精确生物医学图像分割的多化合物转换器

    本研究提出了一种统一的变形器网络，称为多化合物变形器（MCTrans），可嵌入 UNet-like 网络中，并在生物医学图像分割中显着提高了最先进方法的性能。它使用自我关注和交叉注意力进行多尺度卷积特征的序列嵌入，引入了可学习的代理嵌入来模拟语义关系和特征增强。

    Jun, 2021

  • DPT: 可变形基于块的 Transformer 用于视觉识别

    提出了一种新型的 Deformable Patch（DePatch）模块，可以自适应地将图像分割为具有不同位置和比例的补丁，从而更好地保留了补丁中的语义信息。将该模块加入 Transformer 中，在图像分类和目标检测等任务上进行广泛评估。

    Jul, 2021

  • 基于 Patch 训练的多标签图像分类的反事实推理

    通过因果推断的方法，我们提出了一种反事实推理方法来解决多标签图像分类中的过拟合问题，并实现了在多个基准数据集上达到最先进性能的验证。

    Apr, 2024

  • MCTformer+: 弱监督语义分割的多类标记变换器

    本文提出了一种新颖的基于 Transformer 的框架，旨在通过生成准确的类特定目标定位图作为伪标签来增强弱监督语义分割，并探讨了 Transformer 模型捕捉类特定关注力以实现具有类鉴别性的目标定位的潜力。

    Aug, 2023

  • 通过跟踪视频裁剪进行无监督视觉表征学习

    本文旨在通过使用追踪作为代理任务，设计了一个 Catch-the-Patch（CtP）游戏，让 3D-CNN 模型学习图像表示，以帮助视频相关任务的完成。经过广泛实验，CtP 预训练特征与其他视频预训练方法相比具有更优异的性能。

    May, 2021

  • 基于补丁对比学习的语义分割领域自适应

    本文介绍了一种新的无监督和半监督领域适应方法，利用对比学习通过对跨域中的结构相似标签块的特征进行对齐来弥合域差距，以便更容易训练和提高性能。此方法在两个具有挑战性的领域适应分割任务中始终优于现有的无监督和半监督方法，特别是当目标域注释数量很小时。

    Apr, 2021

  • 基于 Transformer 模型的多标签图像分类

    本文提出的 C-Tran 是用于多标签图像分类的通用框架，旨在利用 Transformers 来利用视觉特征和标签之间的复杂依赖关系。该方法包括经过训练的 Transformer 编码器，用于预测给定带有蒙版标签的输入集的目标标签集，以及来自卷积神经网络的视觉特征。我们的模型在 COCO 和 Visual Genome 等具有挑战性的数据集上显示出最先进的性能。

    Nov, 2020

  • MlTr：基于 Transformer 的多标签分类

    本文提出了 Multi-label Transformer architecture (MlTr) 并应用于多标签图像分类任务中，利用 windows partitioning、in-window pixel attention、cross-window attention 探索解决 CNN-based 方法遇到的关键问题并取得了性能显著提升。实验结果表明该方法在各种多标签数据集中表现出色，如 MS-COCO、Pascal-VOC 和 NUS-WIDE，分别达到 88.5%、95.8% 和 65.5%。

    Jun, 2021

  • 弱监督语义分割：渐进式补丁学习

    本文提出了一种新的渐进式补丁学习方法来提高弱监督语义分割中的局部细节提取，进一步将特征破坏和补丁学习扩展到多级粒度，同时与多阶段优化策略相结合来提供模型对不同程度的特征提取能力。此方法超越了大多数现有的弱监督语义分割方法，在 PASCAL VOC 2012 数据集上取得了出色的表现。

    Sep, 2022

  • 带有空间先验的卷积补丁网络用于道路检测和城市场景理解

    本文介绍了用于图像补丁分类的卷积补丁网络，并展示了如何将补丁的空间信息作为网络输入以学习空间先验知识，从而应用于道路检测和城市场景理解，成为 KITTI 和 LabelMeFacade 数据集上最先进的方法之一，同时为需要训练 CNs 的人提供了解决方案。

    Feb, 2015