本研究提出了一种新颖的对比学习框架,它将本地化区域对比技术(LRC)融入到现有的半监督自监督预训练方法中,以增强医学图像分割的性能。通过在三个多器官分割数据集上的大量实验,我们证明在受限注释的情况下将 LRC 集成到自监督方法中可以显著提高分割性能。此外,我们还表明 LRC 也可以应用于完全监督的预训练方法以进一步提高性能。
Apr, 2023
通过数据驱动的前景显著性估计和复制粘贴来生成图像视图,实现对背景不变性的学习,从而训练代表性忽略背景内容并专注于前景的对比学习模型,并实现了在 ImageNet 分类和 PASCAL VOC、MSCOCO 目标检测上的显著性能提升。
Apr, 2020
本文将需要自我学习来改进现有模型的数据集偏差性进行了深入研究,并成功地在不同类型数据集上改善了模型,同时介绍了一种具有多尺度裁剪、强数据增强和近邻策略的改进自监督学习方法,并通过 MoCo 模型在语义分割和视频实例分割任务中实现了优秀的效果。
Jun, 2021
本文研究了利用自监督学习获取对象集中表示的关键方面,并在 CLEVR 数据集上运行了一些实验来验证我们的见解。我们的结果表明,竞争式注意力对象发现对于学习对象集中表示非常重要。对于训练,我们证明了在潜在空间中应用具有匹配性的对比损失,避免了基于像素的重建。但是,该优化目标对假阴性(重复对象)和假阳性(匹配错误)非常敏感。因此,需要仔细考虑数据增强和负样本选择。
Mar, 2022
本文提出了一种自监督的图像表示学习方法,利用三维几何一致性来指导学习过程,并在对比学习框架中引入三维几何一致性作为约束,成功学习出既具有一般性,又能够在各种下游任务中取得优越性能的图像表示。
本文提出了一种基于上下文感知的时空对比学习(ConST-CL)的方法,该方法成功地实现了学习细粒度视频表示,利用区域预文本任务引导模型从一个视角到另一个视角转换,并整合整体和局部表示的并行学习过程。我们在多个数据集上评估了所学得的表示,并展示了 ConST-CL 在 6 个数据集上取得了具有竞争力的结果,包括 Kinetics,UCF,HMDB,AVA-Kinetics,AVA 和 OTB。
Dec, 2021
本研究提出了一种基于自监督学习的框架 Contrastive Spatial Pre-Training(CSP),用于处理大量具有地理标记信息的图像,通过对地理信息进行编码和对比学习,可以提高模型在图像分类任务中的性能。
May, 2023
本文提出了一种名为 Object-level Representation Learning(ORL)的自监督学习框架,旨在从场景图像中进行物体级别的表示学习,通过利用图像级别的自监督预训练作为先验,实现物体级别的语义对应。实验结果表明,ORL 在场景图像的自监督学习中显著提高了性能,在某些下游任务中甚至超过了受监督的 ImageNet 预训练,并在更多未标记的场景图像可用时改善了下游性能,展示了它在利用野外未标记数据方面的巨大潜力,希望它能激发未来更多关于从场景数据中进行通用无监督表征学习的研究。
通过自我监督对比学习框架,从两个不同角度挖掘富含上下文的手势姿势数据的时空一致性,并学习用于手势识别的实例辨别表示,以提高性能。
Jun, 2024
SimCLR 是一种简单的对比学习框架,通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果,在 ImageNet 数据集上实现了比以往方法更好的自监督和半监督学习结果。
Feb, 2020