自监督学习中的 CNN 反击：更大的卷积核大小可能就是你所需的一切

Dec, 2023

自监督学习中的 CNN 反击：更大的卷积核大小可能就是你所需的一切

The Counterattack of CNNs in Self-Supervised Learning: Larger Kernel Size might be All You Need

Tianjin Huang, Shiwei Liu, Tianlong Chen, Zhangyang Wang

TL;DR卷积神经网络与视觉 Transformer 在自我监督学习任务中表现相近，通过增加卷积核大小和其他小调整即可达到与 Transformer 相同的性能水平。

Abstract

vision transformers have been rapidly uprising in computer vision thanks to their outstanding scaling trends, and gradually replacing convolutional neural networks (CNNs). Recent works on self-supervised learning

vision transformers self-supervised learning convolutional neural networks siamese pre-training tasks ssl performance

发现论文，激发创造

Transformed CNNs: 用自注意力机制重塑预训练卷积层

本文研究在 Vision Transformers 与卷积神经网络之间构建混合模型时的计算瓶颈问题，探索采用卷积层进行初始化以达到更快的训练速度，得到的 Transformed CNN (T-CNN) 相比 CNN 在 ImageNet-1k 上有 2.2% top-1 和 ImageNet-C 上有 11% top-1 的性能提升，研究发现初始化 T-CNN 可以从部分训练的 CNN 开始进行，可以更快地达到高性能。

Jun, 2021

扩展或缩小表示，控制预训练偏差轻松实现高效迁移学习技术

本文提出改变自监督学习模型中主干神经网络的最后一个块的维度，是解决预训练偏差问题的一种简单有效的方法，并可以提高自监督预训练模型和有监督预训练模型的迁移学习性能。

Apr, 2023

2020 年代更多的 ConvNets：使用稀疏性将核心扩展到超过 51x51

本论文研究了在极端卷积核上训练和验证了能够光滑扩展卷积核的方法，提出了一种基于此方法的纯卷积神经网络结构 SLaK，可以在图像分类和各种下游任务中实现与分层变压器和现代 ConvNet 结构相当甚至更好的性能表现。

Jul, 2022

自监督学习在利用 Transformer 进行物体检测方面的实证研究

研究使用自监督学习中的图像重构、遮蔽图像建模和拼图等方法来训练物体检测转换器的编码器，以实现预训练和多任务学习，并在 iSAID 数据集上进行了初步实验。

May, 2022

高效超分辨率的部分大核心卷积神经网络

在超分辨率领域中，本文介绍了一种新的方法，通过将 Transformers 的优势引入 CNNs，实现了既具备计算效率又具备增强性能的 Partial Large Kernel CNNs。

Apr, 2024

探索自我监督视觉变换器用于深伪检测：一种比较分析

本研究探讨自监督预训练变换器相对于有监督预训练变换器和传统神经网络（ConvNets）在检测各种类型的深度伪造方面的有效性，重点关注其在数据有限的情况下改进泛化能力的潜力。通过使用适度的训练数据并实施部分微调，在利用自监督学习和变换器进行深度伪造检测时，我们观察到了与传统方法可比拟的适应性和通过注意机制实现的自然可解释性，且同时需要较少的计算资源。

May, 2024

自我监督学习中摆脱手工制作的架构：一个网络并不能统治所有

大规模研究表明，在自监督学习中，网络架构起着重要的作用，因此作者提议在 SSL 环境中学习网络的权重和体系结构，从而提高性能并超越手工设计的体系结构。

Mar, 2022

可训练前馈核线性自注意力近似

本文旨在将可训练的核方法的思想扩展到逼近 Transformer 架构的自注意机制，以实现更快的计算和更高的准确率。

Nov, 2022

自监督对比学习的几何理解

本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

May, 2022

利用自监督深度学习增强乳腺癌筛查乳腺 X 线摄影的检测能力

本研究探讨了基于强数据扩充的无监督自我学习技术在人工智能应用中的重要作用，以乳腺癌检测为例，通过实验验证表明使用该技术可以大幅提高数据利用率，而且更容易迁移到其他数据集，是医学图像人工智能领域迈向无监督学习和去掉传统稀缺标签的重要突破。

Mar, 2022