Mar, 2022

通过自回归编码的随机片段自监督学习（RandSAC）

HTML
PDF
TL;DR本文提出了一种新的自监督图像特征学习策略：随机分段自回归编码(RandSAC)，并探讨了不同设计选择对这种训练策略的影响，证明随机分段在空间长距离(跨段)和短距离(段内)预测上的分布显著提高了性能，且不仅仅适用于基础Transformer，还可以通过添加可学习的跳过连接来进一步提高性能。
发现论文，激发创造
  • 自监督视觉表示学习再探讨

    该论文探讨了自我监督方法在无监督视觉表示学习中的重要性，提出之前CNN设计的标准配方不一定适用于自我监督表示学习， 并大幅度提高了之前提出技术的性能，超越了之前公布的最先进结果。

    Jan, 2019

  • 自回归无监督图像分割

    该研究提出了一种基于不同视图之间的互信息最大化的新的无监督图像分割方法，该方法利用不同形式的掩蔽卷积构建数据的不同视图，用于表示学习或聚类。

    Jul, 2020

  • 自监督野外视觉特征预训练

    本研究探讨了自监督学习是否能够在没有监督的情况下从随机图片上进行学习。通过SEER模型的研究表明，自监督学习在真实环境中的表现优于监督学习方法。

    Mar, 2021

  • 自监督视觉Transformer中的新兴特性

    本研究探讨自监督学习是否为Vision Transformer (ViT)提供了与卷积网络 (convnets)相比更为突出的新特性，发现自监督ViT特征明确包含图像的语义分割信息，在ImageNet数据集中取得了78.3%的top-1准确率，并将这些发现用于自监督方法DINO中，通过线性评估，使ViT-Base在ImageNet数据集中取得了80.1%的top-1准确率。

    Apr, 2021

  • 针对自监督视觉变换器的补丁级别表示学习

    本文设计了一种称为SelfPatch的简单而有效的视觉预训练任务，利用ViT的特性，在无需人工注释的情况下提高不同类型视觉任务的性能，通过训练神经网络对各种图像的无监督学习来实现。

    Jun, 2022

  • 探索随机自回归图像建模以获取视觉表征

    本文针对自回归模型在计算机视觉领域无法与其他自监督学习方法相比的问题，通过引入随机排列策略和并行编码-解码训练过程，提出了一种名为SAIM的新型随机自回归图像建模方法，取得了极大的性能提升，特别是在基于ImageNet-1K数据的视觉变换任务方面达到最佳精度83.9%。

    Dec, 2022

  • 强大的视觉表达学习者：重塑Image-GPT

    本文介绍了D-iGPT，这是对image-GPT进行改进的一种方法，通过将预测目标从原始像素转移到语义标记上，实现对视觉内容的更高级理解，并通过预测可见标记来补充自回归建模，实现了更好的效果。实验证明，D-iGPT在ImageNet-1K数据集上取得了令人瞩目的成绩，并在下游任务中表现出较强的泛化能力和在分布外样本上的鲁棒性。

    Dec, 2023

  • 分析自监督视觉变压器的局部表征

    自本文中，我们对各种自监督视觉变换器（ViTs）进行了比较分析，重点研究了它们的局部代表能力。我们设计了一个评估框架，分析了在少样本语义分割、实例识别、目标检索和跟踪等背景下的局部表示质量。我们发现，基于对比学习的方法如DINO产生了更通用的局部表示，可以立即应用于无参数调整的下游任务，而掩蔽图像建模的方法中学习的嵌入具有高方差特征，对于大多数下游任务没有有用信息。此外，通过对本工作的基准和Scale-MAE的分析，我们证明了移除这些高方差特征对k-NN算法的改进。最后，我们发现DINOv2在多训练数量级的数据上预训练的模型在物体实例检索方面表现比计算消耗较小的DINO模型更差。

    Dec, 2023

  • 通过顺序自回归打造数据高效的大型视觉模型

    该论文研究了一种高效的基于自回归的视觉模型，通过有限的数据集在测试阶段展示了其在高层次和低层次语义理解等各种视觉任务上的能力，减少了参数占用以及训练数据要求，为通用视觉模型领域的可持续性和可访问性提供了重要进展。

    Feb, 2024

  • ARVideo：用于自监督视频表示学习的自回归预训练

    该论文介绍了一种新的自我监督视频表示学习框架ARVideo，其中通过自回归方式预测下一个视频令牌，将自回归视频令牌按照时空间隔进行聚类，并采用随机化时空预测顺序来提高学习效果，实验证明ARVideo是一种有效的自我监督视频表示学习范式，具有更高的训练效率。

    May, 2024