通过引入样本对间对比学习和原型 - 样本对比学习,提出了一种新颖的语义感知双对比学习框架,通过联合训练三个模块,准确捕捉与图像内容相关的判别性标签级特征,并在五个具有挑战性的大规模公共数据集上实验证明了该方法的有效性优于现有技术。
Jul, 2023
本研究提出了一种通过联合学习表示和分割来达到在特定场景(如 COCO)上预训练模型和在 Iconic 图片(如 ImageNet)上预训练模型之间的准确度缩小的框架,结果发现相对于之前的方法,在分类、检测和分割等下游任务中表现得更稳健。
Mar, 2022
本文基于对粗粒度分类注释的 fine-grained 分类与粗细映射的方法,提出了一种基于轻量级对比聚类的自举方法,用于迭代地精炼 passage 标签,并在 NYT 和 20News 数据集上得到了较大幅度的性能提升。
Jun, 2023
ReCo 是一种对语义分割进行区域级别对比学习的框架,重点关注对难例像素的半监督学习,并通过对市面上的分割网络的改进来提高其效率和性能,对于仅有 5 个语义类别样本的场景,使用 ReCo 能够实现高质量的语义分割模型。
Apr, 2021
通过利用最近邻检索来进行自监督表示学习在以物体为中心的图像中已被证明具有益处。然而,当应用于以场景为中心的数据集时,这种方法面临限制,其中图像中的多个物体仅在全局表示中隐含捕获。这种全局引导可能导致对象表示的不可取缠结。此外,即使以物体为中心的数据集也可以受益于一种细粒度的引导方法。为了应对这些挑战,我们引入了一种新颖的针对增强密集视觉表示学习的跨图像对象级引导方法。通过在训练过程中采用对象级最近邻引导方式,CrIBo 成为一个显著强大且适当的候选算法,用于在上下文中学习,并在测试时利用最近邻检索。CrIBo 在后一任务上表现出了最新的性能,同时在更常见的下游分割任务中具有极高的竞争力。我们的代码和预训练模型将在接受后公开提供。
Oct, 2023
在低标签情况下,利用预训练的图文特征对部分类别和零样本多标签识别进行了高效准确的建模和优化,通过引入证据引导的双重上下文优化 (DualCoOp++) 框架,分别对目标类别的证据、正例和反例进行编码,提高了在低样本情况下目标类别的区分度和相关图像的挖掘能力,实现了比现有方法更优异的性能。
Aug, 2023
本文提出了一种 MCSC 框架,联合训练 CNN 和 Transformer 模型,并采用多尺度交叉监督对比学习来对医学图像进行结构分割。实验证明,该方法在 Dice 系数上比现有的半监督方法提高了 3.0% 以上,并且大大缩小了与全监督方法之间的性能差距。
提出了一种结构化的语义转移(SST)框架,用于训练多标签识别模型,其特点是仅知道某些标签而丢失了其他标签。该框架包括两个互补的转移模块,探索图像内部和跨图像的语义相关性,以生成未知标签的伪标签,并使用已知和生成的标签来训练多标签识别模型。实验表明,该框架在多个数据集上实现了优越的性能。
Dec, 2021
该论文研究了只从图像级别监督中学习语义分割的问题,引入了两个神经协同注意力机制来补充地捕捉跨图像的语义相似性和差异性,提高了物体模式学习和语义分割的性能,并在不同的 WSSS 设置下实现了最先进的性能。
Jul, 2020
本文提出了一种语义对比学习的方法(SCL),将距离的聚类结构引入到无标注数据的特征空间中,并通过优化实例视觉相似性和聚类决策边界的一致性来推理出语义上的实体类别,以在发现未知类别决策边界方面具有显着优势。实验证明,SCL 在六个物体识别基准测试中优于最先进的对比学习和深度聚类方法,尤其是在更具挑战性的精细和较大的数据集上。
Mar, 2021