ECCVMar, 2016

通过解决拼图游戏来无监督地学习视觉表征

PDF
TL;DR本文研究了无需人工注释的图像表示学习问题，通过自监督学习的方式，构建了一个卷积神经网络，该网络能够以拼图问题作为预文本任务进行训练，从而无需手动标注，并在后续用于解决目标分类和检测问题；同时引入了一种名为 CFN 的无上下文网络，该网络以图像块作为输入，并将其早期处理单元的感受野（或上下文）明确限制为一次一个图像块，以保持跨任务的兼容性。通过训练 CFN 来解决拼图问题，我们学习了对象部分的特征映射以及它们的正确空间排列，实验评估结果表明，所学习的特征捕获了语义相关的内容；本文提出的学习视觉表示的方法在多个转移学习基准测试中胜过现有的最先进方法。
发现论文，激发创造
  • 弱空间约束下的迭代重组：无人监督表征学习中任意拼图问题的解决

    本文提出了一种用于解决任意大小和形状的智力拼图，利用无监督学习从未标记的图像数据中学习视觉特征，可作为网络初始化的可靠方法，适用于图像分类、物体检测和语义分割等几类视觉识别任务。

    Dec, 2018

  • 通过完成损坏的拼图学习图像表示

    本文探索用复杂的自监督任务进行表示学习的方法，介绍了一个新的复杂自监督任务 “完善受损拼图”，使用卷积神经网络训练，证明使用复杂的自监督任务有助于学习更健壮和通用的表示，证明这种方法在 PASCAL 分类和语义分割的迁移学习中实现了最先进的性能。

    Feb, 2018

  • 通过解决拼图难题进行域泛化

    本研究旨在将自适应方法应用于不同领域中的对象识别任务。通过受监督的信号和自监督的信号来学习和合并知识，扩展模型对数据的理解并提高分类任务的准确性。经过多次实验验证，本方法相较之前的方法在域通用性和适应性上具有更好的效果。

    Mar, 2019

  • 利用视频进行无监督学习的视觉表示

    本文介绍了一种使用大量未标记数据进行无监督学习的方法，通过使用数十万个未标记的 web 视频作为数据集，设计了一个具有排名损失函数的 Siamese-Triplet 网络，用于深度卷积神经网络的无监督学习，可在不使用 ImageNet 的情况下，获得 52% 的 mAP 的性能，并展示了此非监督网络在其它任务中表现出竞争性。

    May, 2015

  • 无监督视觉表示学习：基于上下文预测

    该研究探讨了利用空间上下文作为丰富的视觉表征的监督信号的方法。通过从每个图像中提取随机配对的路径来训练卷积神经网络，用于预测第二个路径相对于第一个路径的位置，从而实现对目标的识别，并证明该方法在性能上优于其他算法。

    May, 2015

  • 无监督视觉表示学习的拼图聚类

    本文介绍了一种新的基于拼图聚类的预处理任务方式，可在降低训练成本的同时充分利用图像内部和外部信息进行训练，实现了与对比学习方法相当的效果，甚至在只使用一半的训练批次时也能够优于其他单批次方法。通过预训练模型，最终在 ImageNet 、CIFAR-10 和 CIFAR-100 数据集上实现了优异的成果。

    Apr, 2021

  • 自监督空时立方体拼图视频表示学习

    本文介绍了一项名为 “Space-Time Cubic Puzzles” 的自监督任务，通过完成此任务训练 3D CNN 以获取视频的空间与时间信息，并在 UCF101 和 HMDB51 数据集上实现比 2D CNN 更好的动作识别结果。

    Nov, 2018

  • 基于 CLIP 的栅格拼图表示：图像聚类的新视角

    无监督表征学习在计算机视觉中对图像聚类至关重要。本论文介绍了基于拼图策略的图像聚类算法 Grid Jigsaw Representation（GJR），并创新了基于预训练的 Grid Jigsaw Representation（pGJR），两者在图像聚类任务上表现出较高的有效性和收敛速度。

    Oct, 2023

  • 视频拼图：用于视频动作识别的时空上下文的无监督学习

    提出了一种自我监督的学习方法，可以联合推理视频的空间和时间上下文，利用拼图游戏方式进行视频片段的训练。

    Aug, 2018

  • 通过将图像嵌入文本主题空间进行自监督的视觉特征学习

    本文提出了一种利用自由可得的多模态内容进行无人监督计算机视觉算法训练的方法，通过挖掘大规模的多模态文档语料库中的语义结构进行话题建模，训练卷积神经网络来预测图像最可能出现为插图的语义上下文，有效地学习了区分性视觉特征，其实验结果表明具有比近期的自监督或自然监督方法更好的图像分类、物体检测和多模态检索的性能。

    May, 2017