自我监督下的卷积神经网络剪枝

Jan, 2020

Pruning Convolutional Neural Networks with Self-Supervision

Mathilde Caron, Ari Morcos, Piotr Bojanowski, Julien Mairal, Armand Joulin

TL;DR通过使用标准剪枝方法，本文研究了基于自监督任务的无监督卷积神经网络是否可行，发现通过使用有标签的重新训练后，裁剪掉的子网络与未裁剪掉的子网络性能相近，并且剪枝方法可以在自监督和有监督学习中同样起作用，还发现剪枝可以保留自我监督子网络表示的传输性能。

Abstract

convolutional neural networks trained without supervision come close to matching performance with supervised pre-training, but sometimes at the cost of an even higher number of parameters. Extracting subnetworks

convolutional neural networks unsupervised learning pruning methods self-supervised tasks performance

发现论文，激发创造

通过深度强化学习改进时空自监督

本研究提出了一种基于强化学习的采样策略，以适应网络状态，自适应采样新的排列，以更新卷积特征表示，进而在图像和视频分类及最近邻检索的标准基准测试中展现了具有竞争力的表现。

Jul, 2018

设备上快速适应预训练模型的一次性剪枝

基于大规模预训练模型，提出了一种适用于低能力设备的可伸缩单次剪枝方法，利用类似任务的剪枝知识从预训练模型中提取一个子网络来适应新任务，实验证明该方法在处理具有不同内存限制的多样化下游任务时，在准确性和效率方面始终优于流行的剪枝基准方法。

Jul, 2023

使用任何掩码更好地训练您的稀疏神经网络

本研究提出了一种新的稀疏训练技术，使用 “幽灵” 神经元和跳跃连接等训练初始策略来提高性能和稳定性，适用于各种稀疏掩蔽方法下的深度学习网络

Jun, 2022

神经网络顺序转移自监督预训练调查

本论文综述了自监督预训练技术及其在序列迁移学习框架中的应用，包括自监督学习和迁移学习的分类体系、设计跨不同领域的预训练任务的突出方法以及近期趋势和未来研究方向。

Jul, 2020

自监督视觉表示学习再探讨

该论文探讨了自我监督方法在无监督视觉表示学习中的重要性，提出之前 CNN 设计的标准配方不一定适用于自我监督表示学习，并大幅度提高了之前提出技术的性能，超越了之前公布的最先进结果。

Jan, 2019

自监督预训练在皮肤病变分析中的评估

本文比较了三种自监督预训练模型和一个有监督的基线模型，在五个数据集上进行了皮肤病变的诊断。结果表明，自监督预训练模型可以在提高准确性和降低结果的变异性方面与有监督的基线模型相媲美，尤其在数据量少的情况下表现更加稳定和优秀。

Jun, 2021

自监督预训练模型结构化剪枝的语音识别与理解

该研究提出三种任务特定的结构化剪枝方法，以减少自我监督语音表示学习和前端网络的计算成本，同时保持模型准确性并提高计算效率。在实验中，该方法在减少 40% 到 50% 的计算成本的情况下，比原始 wav2vec2-base 模型更准确的表现出更高的计算效率。

Feb, 2023

自监督何时对图卷积网络有帮助？

本文首次对将自我监督技术应用于操作图形数据的图卷积网络（GCNs）进行了系统探索和评估。通过提出三种机制，分析预训练和微调以及自我训练的局限性，然后专注于多任务学习，并提出了三个新的自我监督学习任务的理论原理和数值比较。最后，将多任务自我监督整合到图形对抗性训练中。实验结果表明，适当设计任务形式和整合机制可以使 GCNs 获得更强的普适性和稳健性。

Jun, 2020

有监督和自监督模型之间出人意料的相似性

本文探讨了自监督学习和人类行为之间的相似性，指出目前的自监督模型在噪声、类别和图像级别的误差模式、纹理偏好等方面与有监督模型相似，但仍不足以与人类视觉行为相提并论，期望未来的自监督模型能更接近人类的物体识别能力。

Oct, 2020

从头开始剪枝

本文提出了一种新颖的网络修剪流程，允许从随机初始化的权重开始修剪，加速了传统剪枝方法的预训练负担，同时在相同的计算预算下达到了类似甚至更高的准确性。

Sep, 2019