视觉 Transformer 中的稀疏二次下降：真实还是虚幻的威胁？

Jul, 2023

视觉 Transformer 中的稀疏二次下降：真实还是虚幻的威胁？

Sparse Double Descent in Vision Transformers: real or phantom threat?

Victor Quétu, Marta Milovanovic, Enzo Tartaglione

TL;DRVision transformers are state-of-the-art models that use attention to identify key features in images, but their performance regarding sparse double descent and the optimal model size remains unknown.

Abstract

vision transformers (ViT) have been of broad interest in recent theoretical and empirical works. They are state-of-the-art thanks to their attention-based approach, which boosts the identification of key features and patterns within images thanks to the capability of avoiding inductive

vision transformers attention-based approach sparse double descent optimal size of the model trade-off between sparsity and performance

发现论文，激发创造

稀疏双峰下反药物的追求

在能效方案中，找到深度学习模型的最佳大小非常重要且具有广泛的影响。本文的研究目标是高效地寻找最佳折中方法，针对稀疏双下降现象提出了解决方案，包括使用 L2 正则化方法以及通过知识蒸馏来规范学生模型，实验结果表明这些方法可以避免该现象的发生。

Aug, 2023

在视觉 Transformer 中追求稀疏性：一次端到端的探索

本文旨在从减小训练存储开销和推理复杂度的角度，提出一种先将 Vision transformers 稀疏化，然后再训练的方法，从而实现一定的加速效果并保持较高的精度。

Jun, 2021

稀疏双谷操作

该论文研究了双下降现象在两层神经网络中的作用，重点关注了 L1 正则化和表示维度的作用。研究探讨了稀疏双下降这一替代的双下降现象，并强调了模型复杂度、稀疏性和泛化之间的复杂关系，建议进一步研究更多样化的模型和数据集。这些发现有助于深入理解神经网络的训练和优化。

Jan, 2024

稀疏剪枝：朝着高效的视觉 Transformer

通过应用稀疏正则化和修剪方法于视觉转换器架构，研究了性能和效率之间的权衡，并发现正则化模型修剪相较于非正则化模型修剪可提高精度。

Jul, 2023

稀疏双峰下降：网络修剪加剧过拟合

我们的研究发现，在通过网络修剪增加模型的稀疏性时，测试性能会出现一个稀疏双下降现象，即测试性能先下降，然后上升并达到顶峰，最后再次下降。我们提出了一个新的学习距离解释，它可以很好地反映稀疏双下降曲线，并比最小值平坦性更好地反映泛化能力，此外，我们还发现在稀疏双下降的情况下，中彩票假设的优势并不总是存在。

Jun, 2022

深度神经网络是否能避免双重下降现象？

在深度学习模型中，找到最佳大小对于节能取得高广泛影响。通过恰当的条件，可能避免双下降现象，其中模型大小增长时性能会先变差然后变好，以维持高泛化的效果需要充分过参数化的模型，但添加太多参数会浪费培训资源。在复杂情况下，正则化已经对避免双下降产生了积极作用。

Feb, 2023

剥离洋葱：分层减少数据冗余以提高 Vision Transformer 训练效率

本文提出了一种从三个稀疏角度出发的训练框架 Tri-Level E-ViT，探索了数据冗余的减少，并证明了该框架不仅可以加速各种 ViT 架构的训练，还可以提高准确性。

Nov, 2022

SparseViT：重新审视激活稀疏性，为高效高分辨率视觉变换器提供支持

本文提出了 SparseViT，通过窗口激活剪枝技术对最近的基于窗口的视觉变换器 (VITs) 进行活化稀疏化处理，通过稀疏感知的调整和进化搜索，实现不同层次适应不同的剪枝比率优化。SparseViT 在不降低准确性的前提下，分别在单眼 3D 目标检测、2D 实例分割和 2D 语义分割中实现了 1.5x、1.4x 和 1.3x 的速度提升。

Mar, 2023

统一视觉 Transformer 压缩

本论文提出了一种统一的 ViT 压缩框架，其中使用了修剪、跳跃层和知识蒸馏等三种有效技术，经过在 ImageNet 数据集上的实验验证，我们的方法在保证精度的前提下有效压缩 Vision Transformers，比目前已有的压缩方法表现更优。

Mar, 2022

视觉 Transformer 对虚假相关性的鲁棒性研究

在本文中，我们通过在三个具有挑战性的基准数据集上的实验，系统地研究了视觉变换器对于伪相关性的稳健性，并将其与受欢迎的 CNN 进行了比较。我们的研究表明，当在足够大的数据集上进行预训练时，视觉变换器比 CNN 更具稳健性。他们的成功关键在于能够更好地从不满足伪相关性的示例中进行泛化。此外，我们进行了大量消融和实验来理解自我关注机制在在伪相关环境下提供稳健性的作用，我们希望我们的工作可以启发未来进一步了解 ViT 模型的稳健性。

Mar, 2022