多标签图像分类的语义感知双对比学习
本文提出了一种语义对比学习的方法(SCL),将距离的聚类结构引入到无标注数据的特征空间中,并通过优化实例视觉相似性和聚类决策边界的一致性来推理出语义上的实体类别,以在发现未知类别决策边界方面具有显着优势。实验证明,SCL 在六个物体识别基准测试中优于最先进的对比学习和深度聚类方法,尤其是在更具挑战性的精细和较大的数据集上。
Mar, 2021
本研究利用 DualCL 框架将分类器参数作为增广样本,与输入样本结合运用对比学习方法,在五个基准文本分类数据集上表现出较高的分类准确性,并证实了 DualCL 框架在学习具有判别性的表示方面的能力。
Jan, 2022
我们提出了一个双对比学习网络,在半监督多器官分割中利用全局和局部对比学习加强图像和类别之间的关系。在第一阶段,我们开发了一个基于相似度引导的全局对比学习来探索图像之间的隐含连续性和相似性,并学习全局上下文。然后,在第二阶段,我们提出了一个器官感知的局部对比学习来进一步吸引类别表示。为了减轻计算负担,我们引入了一个掩码中心计算算法,用于压缩局部对比学习的类别表示。我们在公共的 2017 年 ACDC 数据集和内部的 RC-OARs 数据集上进行的实验证明了我们方法的优越性能。
Mar, 2024
提出了一种新颖的端到端的弱监督语义分割框架 DSCNet,通过引入像素级组对比和语义级图对比以及设计一种新的双流对比学习机制,综合处理像素级和语义级上下文信息,从而在弱监督语义分割任务中取得了优于现有方法和基准模型的结果。
May, 2024
本研究提出了一种基于语义对比引导的递归语义掩蔽转换器和引导框架,用于解决多标签图像识别中单一正标签的困难问题,通过迭代优化网络参数和细化语义指导,显著提高了多标签图像识别的性能。
Jul, 2023
本文提出了一种密集的语义对比学习框架,用于多颗粒度表示学习,以模拟语义类别决策边界以满足下游的密集预测任务,实验证明我们的模型优于现有的方法,包括目标检测、语义分割和实例分割。
Sep, 2021
通过对半监督语义分割进行对比学习取得了巨大突破,但是由于有限的注释,模型自身生成的无标签图像上的引导 inevitably 存在噪音,扰乱了无监督训练过程。为了解决这个问题,我们提出了一个强大的基于对比的 S4 框架,称为概率表示对比学习 (PRCL) 框架来增强无监督训练过程的鲁棒性。我们将逐像素表示建模为多元高斯分布的概率表示 (PR), 并通过调整模糊表示的贡献度来容忍对比学习中的不准确引导的风险。此外,我们通过收集整个训练过程中所有 PR 生成全局分布原型 (GDP)。由于 GDP 包含相同类别的所有表示的信息,它在表示中即使存在噪声也是鲁棒的,并且承载着表示的类内差异。此外,我们基于 GDP 生成虚拟负样本 (VNs) 来参与对比学习过程。在两个公开基准测试上进行的大量实验证明了我们 PRCL 框架的优越性。
Feb, 2024
本研究提出了一种半监督语义分割的新方法,采用对比学习模块,通过维护持续更新的内存库,将具有相同类别的样本的像素级特征表示相似,通过端到端的训练,优化标注和未标注数据的特征,能够在公共基准测试中取得比半监督语义分割和半监督领域适应的现有技术更好的表现,尤其在标注数据较少的情况下有更大的提升。
Apr, 2021
提出了一种 Semantic-Specific Graph Representation Learning (SSGRL) 的框架,包含两个重要模块:语义解耦模块和语义交互模块,其中语义解耦模块结合类别语义以指导学习语义特定表示,语义交互模块则将这些表示与基于统计标签共现构建的图相互关联,可以通过图传播机制来探索它们的相互作用,通过大量的公共基准测试,证明 SSGRL 框架优于现有的最新方法。
Aug, 2019
本文提出了一种 MCSC 框架,联合训练 CNN 和 Transformer 模型,并采用多尺度交叉监督对比学习来对医学图像进行结构分割。实验证明,该方法在 Dice 系数上比现有的半监督方法提高了 3.0% 以上,并且大大缩小了与全监督方法之间的性能差距。
Jun, 2023