Dec, 2023

ELSA：无额外开销的稀疏网络部署中的部分权重冻结

PDF
TL;DRELSA 是一个实用的解决方案，可以在不同稀疏级别上轻松部署的深度网络。在预测时，只需根据预定义的掩码将权重清零，即可轻松提取任何稀疏模型，ELSA 具有简单、强大和高度灵活的特点，可以使用几乎任何现有的网络稀疏化和网络训练技术。实验证明，与独立训练和存储的多个稀疏网络相比，ELSA 在灵活部署方面的优势几乎不会或只会带来可忽略的预测质量下降。
发现论文，激发创造
  • 单次前向传播的表示学习

    我们提出了一种以神经科学为灵感的单次传递嵌入式学习算法（SPELA），它是培训和推理应用于边缘 AI 设备的优选候选者，同时 SPELA 可以最佳地满足对感知表示学习和形成的研究框架的需求。与传统方法相比，SPELA 无需反向传播，我们展示了该算法在噪声布尔操作数据集上能够进行非线性分类的性能，并且在 MNIST、KMNIST 和 Fashion MNIST 上表现出高性能，最后，我们展示了 SPELA 在 MNIST、KMNIST 和 Fashion MNIST 上的几个 shot 和 1 epoch 学习能力，其中它始终优于反向传播。

    Feb, 2024

  • AUTOSPARSE: 深度神经网络稀疏训练自动化

    本文提出通过渐进式变化策略的梯度退火（gradient annealing，GA）以及最新的可学习剪枝方法相结合的自动稀疏训练算法 AutoSparse，在 ImageNet-1K 数据集上表现优异，80% 稀疏 ResNet50 的训练和推断 FLOPS 减少分别达到 2 倍和 7 倍。与当前最好的稀疏到稀疏（sparse-to-sparse）方法 MEST 的表现相似，但使用的训练和推理 FLOPS 分别多 12％和 50％不到。

    Apr, 2023

  • NestedNet: 在深度神经网络中学习嵌套稀疏结构

    本文提出了一种新的深度学习框架，称为嵌套稀疏网络，它利用神经网络中的 n-in-1 类型嵌套结构，实现资源感知的多功能体系结构，可以满足不同的资源要求，并利用层次分类实现了多任务学习。此外，我们还提出了有效的权重连接学习和通道和层次调度策略，评估了我们的网络在多种任务中的性能。结果表明，嵌套稀疏网络相比现有方法具有更高的效率和竞争力。

    Dec, 2017

  • 动态稀疏的全方位福音：零训练或测试开销的深度集成

    本文提出了一种称为 FreeTickets 的新型高效集成学习框架，利用稀疏神经网络训练，取代了传统的多个密集神经网络的训练方式，并在预测精度、不确定性估计、分布外强度、训练和推理效率等方面优于传统方法。

    Jun, 2021

  • 稀疏训练通用框架的两个关键环节：层冻结和数据筛选

    该论文提出了一种名为 SpFDE 的通用框架，通过采用稀疏训练、层冻结、数据筛选等技术，可以有效地降低训练成本并保持准确性。

    Sep, 2022

  • ELSA：增强的局部自注意力视觉变换器

    本文通过从通道设置和空间处理两个方面综合调查了本地自注意力和其同行的性能，发现空间注意力的生成和应用是影响性能的关键因素，提出了增强型本地自注意力（ELSA）并通过实验验证其有效性。

    Dec, 2021

  • 多任务学习的模型选择弹性深度网络

    本文提出一种用于多任务学习的实例动态网络模型选择方法，该方法基于一个精简而准确的主干架构为每个任务的实例提供多个不同配置的层级结构网络模型进行估计，并利用选择器从候选模型池中动态地选择最佳模型。实验结果表明该方法具有出色的性能，并可以在多个任务中实现按实例选择模型的功能。

    Sep, 2019

  • GASL: 深度神经网络稀疏学习的引导注意力

    本研究提出了一种基于可解释的 attention mechanism 的网络修剪方法，能在保持准确率的前提下实现模型压缩和加速，可适用于各种结构的深度神经网络。实验证明，在 Cifar-100 数据集上取得了最高的稀疏度和加速比，与最佳方法相比准确率相当；在 MNIST 和 LeNet 架构上也取得了最高的稀疏度和加速比。

    Jan, 2019

  • 深度网络中的最大稀疏性？

    论文研究了稀疏估计算法、神经网络层和深度网络学习在估计准确性方面的应用，展示了深度网络学习可以在稀疏字典具有连贯列时恢复最小 L0 范数表示的潜力，并应用于三维场景表面法线的实际测量问题中。

    May, 2016

  • Shears：具有神经低秩适配器搜索的非结构稀疏

    通过引入新颖的 Shears 方法，结合成本效益的稀疏性和神经低秩适配器搜索算法，可以进一步提高参数高效微调方法的效率。实验结果表明，与其他方法相比，Shears 方法在达到高稀疏水平的同时，提高了精度或仅稍微降低精度，并利用单个 GPU 进行了一对小时的处理。

    Apr, 2024