Jul, 2023

自我监督的表示学习方法能否经受分布变化和损坏？

PDF
TL;DR自监督学习在计算机视觉中的鲁棒性研究调查了分布变化和图像损坏对学习表示的影响，发现较高级别的变化和损坏显著降低了学习表示的鲁棒性。研究强调了鲁棒性对自监督学习方法的性能和应用的关键影响，并强调了需要寻找有效策略以减轻其不利影响的重要性。
发现论文，激发创造
  • 使用自监督学习能够提升模型的鲁棒性和不确定性

    自我监督能够提高深度学习在鲁棒性、异常检测等难题上的表现甚至超越了全监督学习，成为未来自我监督学习研究的新方向。

    Jun, 2019

  • 数据分布转移时，使用自学习

    本文针对系统域转移下的计算机视觉模型，提出了熵最小化和伪标记等自学习技术的应用，通过大量实验展示了显著的改进效果和实用性。同时，本文还提出了一个新的分类数据集 ImageNet-D，对于自适应算法来说具有一定的挑战性。

    Apr, 2021

  • 揭开对比自监督学习的神秘面纱：不变量，数据增强和数据集偏差

    通过量化实验，我们发现了自监督学习方法的增益来源及其局限性，并且提出了一种利用非结构化视频学习表示以实现更高视点不变性的方法。

    Jul, 2020

  • 自监督学习：生成或对比

    本文介绍自监督学习作为深度学习替代方案的优势及其在计算机视觉、自然语言处理和图学习中的应用，分类总结了现有的自监督学习方法，并进一步探讨其相关的理论分析工作，最后简要讨论了自监督学习的未来方向和开放性问题.

    Jun, 2020

  • 辨别式自监督学习方法综述

    计算机视觉领域的自监督学习是从无标签数据中提取强大特征的方法，模型通过自动从数据本身中推导标签而无需人工注释。本文全面回顾了计算机视觉领域内的自监督学习的判别性方法，包括对比、自蒸馏、知识蒸馏、特征去相关化和聚类技术，并研究这些方法如何利用大量的无标签数据。最后，我们对标准的 ImageNet 分类基准上的自监督学习方法进行了比较。

    May, 2024

  • 自监督视觉表示学习再探讨

    该论文探讨了自我监督方法在无监督视觉表示学习中的重要性，提出之前 CNN 设计的标准配方不一定适用于自我监督表示学习， 并大幅度提高了之前提出技术的性能，超越了之前公布的最先进结果。

    Jan, 2019

  • 通过增强感知自我监督改善表示的可转移性

    为了避免生成数据不敏感的特点，同时获取更具普适性的表示，我们提出了一种辅助自监督损失 AugSelf，它学习两个随机样本之间的增强参数差异，并可以轻松地纳入最先进的表征学习方法中，稳定提高了监督和无监督方法的表征迁移性能。

    Nov, 2021

  • 自监督表示学习：介绍、进展与挑战

    介绍了自监督学习的基本概念、方法和应用，探讨了自监督学习在不同数据模态下的表现，包括图像、视频、音频和文本，并讨论了其实用性和存在的问题。

    Oct, 2021

  • 稳定且因果推理用于区分自监督深度视觉表示

    从因果关系的角度分析了有问题的自我监督方法，并提出了解决方案，通过在推理过程中应用线性变换来提高时间效率。

    Aug, 2023

  • 自监督学习用于图像超分辨率与去模糊

    自监督方法在各种成像逆问题中最近证明了几乎与监督方法一样有效，在科学和医学成像应用中为基于学习的方法铺平了道路，其中获得地面真实数据难度或费用较高，在磁共振成像和计算机断层扫描中就是这种情况。然而，现有方法在图像超分辨率和去模糊问题中无法取得竞争性能，在大多数成像系统中起着关键作用。在本文中，我们展示了对于仅包含低频信息的测量数据，对于学习的翻译和旋转不变性是不足够的。相反，我们提出了一种新的自监督方法，利用了许多图像分布近似尺度不变的事实，可以应用于任何高频信息在测量过程中丢失的逆问题。通过一系列实验在真实数据集上证明了所提方法优于其他自监督方法，并获得了与完全监督学习相当的性能。

    Dec, 2023