Aug, 2024

CNN-JEPA：使用联合嵌入预测架构的自监督预训练卷积神经网络

HTML
PDF
TL;DR本研究针对将自监督学习方法（如I-JEPA）适配卷积神经网络的挑战，提出了CNN-JEPA，这是一种新颖的自监督学习方法。实验表明，CNN-JEPA在ImageNet-100上表现优于I-JEPA，训练时间减少17-35%，并且在准确性上接近现有的自监督学习方法，展示了其在卷积神经网络上的简化和高效性。
发现论文，激发创造
  • 自我监督轻量级视觉Transformer的深入探讨

    本文主要通过使用基于掩码图像建模的MAE pre-training方法，即MAE-lite，来为轻量级ViTs 的pre-training提供配方，并与其他 fully-supervised 和 self-supervised pre-training counterparts 进行对比，分析和表明了这种pre-training的影响，揭示了pre-trained 模型的适当学习的底层在数据充足的下游任务中更为重要的作用，并开发了一个distillation策略来提高pre-trained representations，从而实现更好的性能。

    May, 2022

  • 联合嵌入预测架构的图像自监督学习

    该研究论文使用了无需手工制作的数据增强方法来学习高度语义化的图像表示，引入了I-JEPA框架，通过从单个上下文块中预测同一图像中的各种目标块的表示来实现自我监督学习。实验结果表明，与Vision Transformers相结合，I-JEPA具有高度的可扩展性和强大的下游性能。

    Jan, 2023

  • 高效低计算自监督视觉模型的简单配方

    本文介绍了一种简单的自监督蒸馏技术，可以培训高性能低计算的神经网络，RoB通过从大型自监督教师模型到小型学生模型的知识蒸馏来实现，适用于许多架构。实验结果表明RoB在ImageNet数据集上表现良好，且在五个下游转移任务上的表现与监督蒸馏的结果相当或更好。

    Jan, 2023

  • 自监督视觉表示学习的堆叠联合嵌入架构

    本文介绍了使用堆叠式联合嵌入架构（JEA）来学习高度可分离的语义层次表示的方法，从而产生表现出更具独特的语义概念的表示空间，证明了其在语义分类上的有效性。

    May, 2023

  • MC-JEPA: 一种联合嵌入预测架构用于自监督学习的动作和内容特征

    共享编码器的MC-JEPA联合嵌入预测架构和自监督学习方法在光流估计和内容特征方面取得相当的性能，并在图像和视频的语义分割等下游任务上与现有的无监督光流基准和常见的自监督学习方法相当。

    Jul, 2023

  • 自监督学习中的CNN反击：更大的卷积核大小可能就是你所需的一切

    卷积神经网络与视觉Transformer在自我监督学习任务中表现相近，通过增加卷积核大小和其他小调整即可达到与Transformer相同的性能水平。

    Dec, 2023

  • DMT-JEPA：用于联合嵌入预测结构的判别性掩码目标

    我们介绍了一种新的基于JEPA的masked modeling目标DMT-JEPA，通过计算特征相似性和使用轻量级交叉注意力头，将语义相似的邻域图像作为目标来生成具有辨别力的潜在目标，从而弥补了JEPA在理解局部语义方面的不足。

    May, 2024

  • 自监督学习中不需要数据增强

    本研究探讨在大规模数据集下只使用裁剪而不使用调整大小的数据增强可得到强大的图像表示，并达到最先进的结果，同时讨论计算约束对实验深度学习研究结果的影响。

    Jun, 2024

  • JEPA如何避免噪声特征：深度线性自蒸馏网络的隐式偏差

    通过分析深度线性模型的训练动态，揭示了预测隐藏空间中的显著特征对于Joint Embedding Predictive Architecture（JEPA）方法成功的隐含偏差机制。

    Jul, 2024

  • 联合嵌入预测架构用于自监督学习的蒙版分类架构

    使用Mask-JEPA，一种自监督学习框架，结合遮罩分类器与联合嵌入预测架构，能有效地捕捉复杂的语义和精确的物体边界；通过在ADE20K、Cityscapes和COCO等数据集上进行严格评估，展示了Mask-JEPA的竞争性结果、卓越的适应性和鲁棒性，并凸显了其对不同分类器家族的无架构依赖性。

    Jul, 2024