May, 2024

LOTUS: 通过稀疏修剪和数据抽奖提高 Transformer 效率

PDF
TL;DRLOTUS 是一种利用数据抽奖选择和稀疏剪枝来加速视觉变换器训练的新方法，通过识别和利用最信息丰富的数据子集并消除冗余模型参数来优化训练过程，通过广泛的实验证明了 LOTUS 在快速收敛和高准确度达到显著降低计算要求方面的有效性，这项工作突出了在高效视觉变换器训练方面结合数据选择和稀疏技术的潜力，为进一步的研究和开发提供了机会。
vision transformerslotusdata lottery ticket selectionsparsity pruningefficient vision transformer training
发现论文，激发创造
  • 视觉 Transformer 的数据级彩票假设

    本文提出了一种数据级彩票假设（Data-LTH-ViT），旨在寻找将 Vision Transformers 训练到与使用所有图像补丁训练模型相似准确度的可行子集。结果表明，使用获胜彩票的模型与随机选择子集的模型的性能存在明显差异，并且该理论具有与传统 LTH 相似之处。

    Nov, 2022

  • 成功将稳定化彩票假设应用于 Transformer 结构

    研究表明，通过稀疏模型、神经网络和剪枝技术等手段，可以在交互式设备和时间关键型计算中快速实现预测，找到了一种新的剪枝技术，该技术不仅优于其他技术，而且对于高密度稀疏性水平的情况具有很大的优势。

    May, 2020

  • 植物寻觅：你能找到获胜的门票吗？

    通过开发一种在神经网络随机初始化时具有理想特性的彩票中隐藏并发掘出触及四项挑战性任务的采用最先进剪枝方法的框架，我们发现算法的限制基本上是算法性质的。

    Nov, 2021

  • 视觉和语言中的抽奖券玩法

    本文通过实证研究发现，大规模的预训练 VL 模型中存在可训练的子网络，该子网络可通过精细修剪结构实现高精度计算并具有良好的通用性。

    Apr, 2021

  • 彩票适应性：减轻 LLM 中的破坏性干扰

    Lottery Ticket Adaptation (LoTA) is a sparse adaptation method for large language models that improves performance on multiple tasks by optimizing a sparse subnetwork, mitigating catastrophic forgetting.

    Jun, 2024

  • 用于目标识别的彩票票据假设

    文章探讨了深度学习神经网络中 Lottery Ticket Hypothesis（LTH）方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果，结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到 80% 的稀疏度。

    Dec, 2020

  • 连续稀疏化在中奖彩票中的应用

    该研究提出了一种基于连续稀疏化的新型算法，用于寻找高效的、稀疏的深度神经网络模型。实验结果表明，在修剪和寻找稀疏子网络方面，我们均超过了现有方法的最新技术水平，包括 VGG 在 CIFAR-10 上训练和 ResNet-50 在 ImageNet 上训练等。

    Dec, 2019

  • 分解彩票网络变形器：稀疏神经机器翻译的结构和行为研究

    利用稀疏 Transformer 进行神经机器翻译可以保证 BLEU 分数，但通过剪枝会影响模型的学习表征，随着剪枝过程中低振幅权重的削减，语义信息的复杂性首先降低，同时在保持注意力机制的一致性的情况下，稀疏模型的早期层开始了更多的编码。

    Sep, 2020

  • 高效彩票票据查找：少量数据更佳

    本文提出了一种新的方法，通过仅使用一种特殊的数据子集来发现 Lottery Ticket Hypothesis (LTH) 中的胜彩（稀疏而关键的子网络），该子集被称为 Pruning-Aware Critical set (PrAC set)，相较于使用全套训练集的方式，使用该子集可以更高效地发现这些胜彩，这篇文章还验证了这种做法在不同网络结构上的适用性。

    Jun, 2021

  • 早期 Transformer：通过提前中签抽奖实现 Transformer 模型的高效训练

    通过组合迭代剪枝、遮蔽距离计算和选择性重训练等方法，本研究调查并验证了早鸟票假设对 Transformer 模型训练效率的适用性。实验结果表明，在 Transformer 模型的训练或微调的前几个周期内，可以持续发现早鸟票，并且在显著减少资源占用的情况下，可以获得与未剪枝模型相媲美甚至更高的准确率。此外，对比分析突显了早鸟票现象在不同 Transformer 模型和任务中的普适性，为 Transformer 模型的高效训练策略的发展做出了贡献。通过利用早鸟票，从业者可以加速自然语言处理和计算机视觉应用的进展，同时减少 Transformer 模型训练的计算负担。

    May, 2024