CVPRNov, 2017

基于上下文的自监督学习的改进

PDF
TL;DR本研究采用了一种基于 patch 排列上下文学习的自监督学习方法，着重解决了光学畸变、空间倾斜和中等特征忽视等问题，在不同数据集上进行多项自监督测试，结果表明，在 PASCAL VOC 2007 的分类和检测、PASCAL VOC 2012 的分割以及 ImageNet 和 CSAIL Places 数据集上的线性测试中都取得了顶尖成绩，在迁移学习分类测试中，超过基准方法的改进幅度为 4.0 到 7.1 个百分点，同时演示了不同标准网络架构的结果，以证明其推广性和灵活性。
self-supervised learningcontextchromatic aberrationspatial skewmid-level feature neglect
发现论文，激发创造
  • 无监督视觉表示学习：基于上下文预测

    该研究探讨了利用空间上下文作为丰富的视觉表征的监督信号的方法。通过从每个图像中提取随机配对的路径来训练卷积神经网络，用于预测第二个路径相对于第一个路径的位置，从而实现对目标的识别，并证明该方法在性能上优于其他算法。

    May, 2015

  • 自监督上下文学习用于工业缺陷的视觉检测

    本文提出了一种新颖的自监督学习算法，通过解决著名的拼图问题来设计一个优化的编码器，以在工业产品中检测纹理和物体缺陷，实验结果表明我们的方法在广泛使用的 MVTec AD 数据集上达到了 95.8% 和 96.8% 的杰出检测和分割性能，为纹理和物体缺陷建立了最新的基准。

    Nov, 2023

  • 使用深度结构模型探索上下文语义分割

    本文研究深度学习在语义分割中的应用，通过引入 “区域 - 区域” 和 “区域 - 背景” 上下文信息，结合 CNN 和 CRF 模型来建立深度结构模型，实现图像区域与区域之间的语义关联性建模。采用高效的 piecewise 训练方法，克服 CRF 推理开销大的问题，同时引入多尺度训练和滑动金字塔保证对背景信息的适当捕捉，通过对 NYUDv2, PASCAL-VOC2012, Cityscapes, PASCAL-Context, SUN-RGBD, SIFT-flow 和 KITTI 数据集的全面评估，证明该方法在语义分割领域达到了最先进的水平。

    Mar, 2016

  • 超越本地像素统计的自监督特征学习

    基于对特定变换的区分，我们提出了一种自监督特征学习的新原则，指出所学特征的泛化能力取决于较大的图像邻域大小和其能够描述的更全局的图像统计信息，这可以 better represent objects' shape and configuration 以及它们的上下文，最终将泛化到新任务，如对象分类和检测。根据这个标准，我们引入了一种新的图像变换，称为 limited context inpainting (LCI)，它仅在小矩形像素边界（有限的上下文）的条件下填充图像，而由于边界信息有限，因此涂鸦者可以学习匹配局部像素统计信息，但不太可能匹配图像的全局统计信息。我们声称可以使用同样的原则来验证变换性能，例如图像旋转和扭曲， 确实，我们实验表明，学习区分 LCI、图像扭曲和旋转等变换，产生了状态良好的泛化功能，可应用于多个数据集，如 Pascal VOC、STL-10、CelebA 和 ImageNet。值得注意的是，我们训练的特征在 Places 数据集上的表现与通过带 ImageNet 标签的监督学习训练的特征相当。

    Apr, 2020

  • 跨模态上下文的局部描述符增强

    本文提出了一种加强现有局部特征描述器的上下文感知统一学习框架，该框架整合了来自高级图像表征的视觉上下文和 2D 关键点分布的几何上下文，并采用有效的 N 对损失来提高收敛效果，在几个大型基准场景上表现良好，表明它在几何匹配应用方面具有很强的实用性和泛化能力。

    Apr, 2019

  • 通过将图像嵌入文本主题空间进行自监督的视觉特征学习

    本文提出了一种利用自由可得的多模态内容进行无人监督计算机视觉算法训练的方法，通过挖掘大规模的多模态文档语料库中的语义结构进行话题建模，训练卷积神经网络来预测图像最可能出现为插图的语义上下文，有效地学习了区分性视觉特征，其实验结果表明具有比近期的自监督或自然监督方法更好的图像分类、物体检测和多模态检索的性能。

    May, 2017

  • 半监督自修正语义图像分割网络

    本研究介绍了一种半监督框架，通过一个辅助模型和一个自我纠正模块，在只有一小部分完全有监督图像的基础上，使用具有目标边界框标签的图像和只有目标边界框标签的图像集（称为弱集），训练出高质量的语义分割模型，这种方法比传统大量完全有监督数据模型要求的标注工作量减少～7 倍。

    Nov, 2018

  • 深层结构模型语义分割的高效分段训练

    本文提出了一种改进图像语义分割性能的方法，通过使用上下文信息学习 Patch-Patch 和 Patch-Background 的语义相关性，使用带有条件随机场的 CNN 对邻近 patch 之间的语义相关性进行建模，并采用高效的分段训练方法。同时，通过使用传统的多尺度图片输入和滑动金字塔池化等手段捕捉图像区域与背景的上下文信息，结果在多种流行的语义分割数据集上取得了最先进的性能，并在 PASCAL VOC 2012 数据集上取得了 78.0 的交叉联合分数。

    Apr, 2015

  • PatchContrast：自监督预训练用于 3D 物体检测

    基于自主车辆的关键挑战是准确检测环境中的物体。我们引入 PatchContrast，这是一个创新的自我监督点云预训练框架，用于 3D 物体检测。通过提出两个抽象层次的利用，我们学习未标记数据的判别性表示：提案级别和补丁级别。提案级别旨在确定物体相对于周围环境的位置，而补丁级别增加了关于物体组件之间内部连接的信息，从而根据它们的独立组件区分不同的对象。我们展示了如何将这些级别集成到自我监督预训练中以增强下游的 3D 检测任务，并证明我们的方法在三个常用的 3D 检测数据集上优于现有的最先进模型。

    Aug, 2023

  • 通过背景增强对自监督学习的鲁棒性进行表征和改进

    通过引入背景增强技术，加强自监督学习中对物体的语义关注， 系统调研发现其在多个自监督学习任务中均有大幅提升效果，并成为有监督学习的有力竞争者，并在无监督显著性检测方面取得进展。

    Mar, 2021