自我传播:探索像素级一致性用于无监督视觉表示学习
该研究探讨了利用空间上下文作为丰富的视觉表征的监督信号的方法。通过从每个图像中提取随机配对的路径来训练卷积神经网络,用于预测第二个路径相对于第一个路径的位置,从而实现对目标的识别,并证明该方法在性能上优于其他算法。
May, 2015
本文介绍了一种基于像素的密集自监督学习方法,通过考虑局部特征之间的对应关系,实现了对密集预测任务的有效优化,包括物体检测,语义分割和实例分割。与基线方法 MoCo-v2 相比,该方法仅引入了微不足道的计算开销,但表现出了更好的性能。
Nov, 2020
本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法,通过数据量、数据领域、数据质量和任务粒度,得出了有关成功自监督学习所需条件的新见解,其中包括:(i) 除500k张图像外,额外的预训练数据的收益有限;(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。
May, 2021
通过选择性搜索提出边界框,引入物体层次表征,结合FPN等所需模块的预训练神经网络,并配备物体检测属性,该文提出的选择性物体对比学习(SoCo)方法在物体检测领域取得了最先进的转移学习结果。
Jun, 2021
本文将需要自我学习来改进现有模型的数据集偏差性进行了深入研究,并成功地在不同类型数据集上改善了模型,同时介绍了一种具有多尺度裁剪、强数据增强和近邻策略的改进自监督学习方法,并通过 MoCo 模型在语义分割和视频实例分割任务中实现了优秀的效果。
Jun, 2021
本文提出了一种密集的语义对比学习框架,用于多颗粒度表示学习,以模拟语义类别决策边界以满足下游的密集预测任务,实验证明我们的模型优于现有的方法,包括目标检测、语义分割和实例分割。
Sep, 2021
通过挖掘隐藏正样本学习丰富的语义关系和确保局部语义一致性,我们引入了对比学习来解决任务特定训练指导和局部语义一致性缺乏考虑的问题,并引入了一个渐进的策略来逐步提高导致模型捕获任务特定的语义特征,在 COCO-stuff、Cityscapes 和 Potsdam-3 数据集上实现了最新的 SOTA 结果。
Mar, 2023
本论文引入了LeOCLR(Leveraging Original Images for Contrastive Learning of Visual Representations),一种新的实例辨识方法和适应的损失函数,以保证正样本之间的共享区域在语义上是正确的,实验证明我们的方法在不同数据集上始终比基线模型改进了表征学习。 例如,在线性评估中,我们的方法在ImageNet-1K上比MoCo-v2提高了5.1%,在迁移学习任务中也超过了其他几种方法。
Mar, 2024