Apr, 2020

跨领域拓展和分析自监督学习

PDF
TL;DR通过对自监督学习在卫星图像等各个领域的实验发现，旋转任务是语义最具意义的，而 Jigsaw 和 Instance Discrimination 的性能很大程度上归因于它们诱导分布的特性，但在细粒度分类等任务上所有任务的表现均不佳，这些成功和失败的原因通过对预训练泛化、随机标签和隐含维度的研究进行了定量和定性的诊断。
self-supervised learningrepresentation learningimage classificationsatellite imagerypretext generalization
发现论文，激发创造
  • 跨领域的自监督学习

    本研究提出一种对物体在不同域中的识别问题采用监督学习和自监督学习方法相结合的多任务学习算法，通过学习对象形状，掌握空间定向和部件相关性等概念，证明该算法在域通用和适应性方面具有较高的竞争力。

    Jul, 2020

  • 遥感卫星图像的领域适应自监督表示学习

    本研究提出了一种新颖的域自适应范式，利用遥感卫星数据来研究对比自监督表示学习和知识转移。通过在源数据集上进行自监督对比学习的预训练，并以循环交替的方式在目标数据集上进行下游任务，该方法实现了自监督知识转移，达到了最先进的性能和可解释的表示学习。

    Apr, 2023

  • 计算机视觉任务的自监督域自适应

    本文提出了一种自我监督域自适应的通用方法，重点关注简单的预训练任务，如图像旋转预测，运用于对象识别和城市场景语义分割等场景，并提出了预测层对齐和批归一化校准等策略以进一步提高其准确性。实验结果表明自我监督在域自适应方面具有很大的潜力。

    Jul, 2019

  • 视频自监督学习综述

    本篇综述论文讨论了自监督学习在视频领域的应用，主要归纳了四种不同的自监督学习方法，分别为预测任务、生成式学习、对比学习和跨模态协议，并讨论了现有方法的局限性和未来发展方向。

    Jun, 2022

  • 通过将图像嵌入文本主题空间进行自监督的视觉特征学习

    本文提出了一种利用自由可得的多模态内容进行无人监督计算机视觉算法训练的方法，通过挖掘大规模的多模态文档语料库中的语义结构进行话题建模，训练卷积神经网络来预测图像最可能出现为插图的语义上下文，有效地学习了区分性视觉特征，其实验结果表明具有比近期的自监督或自然监督方法更好的图像分类、物体检测和多模态检索的性能。

    May, 2017

  • 不同图像领域弱监督语义分割的综合分析

    本篇论文评估了最先进的弱监督语义分割方法在自然场景、组织病理学和卫星图像数据集上的表现，并分析了如何确定哪种方法最适合给定的数据集。结果表明，针对组织病理学和卫星图像的弱监督语义分割面临着与自然场景图像不同的挑战，提出了一些实用技巧并指出需要更多的工作来实现弱监督语义分割的通用方法。

    Dec, 2019

  • 对比度视觉表征学习何时有效？

    本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法，通过数据量、数据领域、数据质量和任务粒度，得出了有关成功自监督学习所需条件的新见解，其中包括：(i) 除 500k 张图像外，额外的预训练数据的收益有限；(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。

    May, 2021

  • 高效有效的自监督视觉表示学习

    本研究提出一种新的辅助任务 —— 旋转预测，用于加强现有最先进的基于相似性和对比性方法，并在多个数据集上证明了我们的方法能显着提高性能。

    Oct, 2022

  • 深度表示学习的无监督图像分类

    本研究提出了一种无监督图像分类框架，旨在通过不使用嵌入聚类来简化和优化深度聚类算法，并在 ImageNet 数据集上进行了实验。同时验证了其在多标签图像分类，目标检测，语义分割等任务的泛化性，以及其在迁移学习中的有效性。

    Jun, 2020

  • 自监督学习：逐个样本学习泛化能力

    本文探讨了如何在不增加过多数据注释的情况下，利用自监督学习来实现领域泛化和适应性，结果表明该方法在三种不同的情景下有效。

    Oct, 2019