ICMLMay, 2019

透过反比尺度空间探索深度网络的结构稀疏性

PDF
TL;DR本文提出了一种基于反射尺度微分包含的新方法，该方法通过耦合一对参数在动力学过程中生成从简单到复杂的模型系列，同时探索过度参数化的深度模型和其结构稀疏性。实验证据表明，我们的方法在探索几个广泛使用的支撑点上的稀疏结构方面表现出与竞争优化器可比甚至更好的性能。值得注意的是，我们的方法能够在早期阶段揭示 “获胜的票据”，即具有与完全训练的超参数化模型相当的测试精度的有效稀疏网络结构，这些模型可以进一步迁移到类似的替代任务中。此外，我们的方法能够高效地使用自适应过滤器配置来有效地增加网络，展示出更少的计算成本。
发现论文，激发创造
  • 基于数据驱动的深度神经网络稀疏结构选择

    本文提出了一种简单有效的框架来对深度模型进行端到端的剪枝，方法是先引入一个称为 “缩放因子” 的新参数来缩放特定结构的输出，然后对这些因子加入稀疏正则化，并通过修改的随机加速远端梯度（APG）方法解决这个优化问题。将某些因子强制为零，可以安全地移除对应的结构，从而削减 CNN 的不重要部分，该方法相较于其他需要数千次试验或迭代微调的结构选择方法具有更好的性能。

    Jul, 2017

  • 通过结构化连续稀疏化增加深度网络的效率

    本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

    Jul, 2020

  • 基于 Bregman 学习框架的稀疏神经网络

    提出一种基于随机 Bregman 迭代的学习框架，用于训练稀疏神经网络，采用逆比例空间方法。该方法具有很高的效率和易实现性，且在 ResNet-18 的参数中仅用了 3.4%，达到 90.2% 的 CIFAR-10 测试准确率。同时，利用该框架还可以进行稀疏反向传播和资源友好型训练。

    May, 2021

  • 基于物理字典的稀疏信号分解驱动的深度神经网络求解反问题

    提出了一种融合深度神经网络和传统分析方法优势的解决一般反问题的方法，该方法具有较高的可解释性、易于训练，适合于在医学中的应用，具有 MRI 成像参数估计等方面的应用潜力。

    Jul, 2021

  • 通信系统中的稀疏线性逆问题求解：一种具有自适应深度的深度学习方法

    该论文提出一种基于深度学习的动态网络深度算法，通过在每一层引入终止得分，学习了解每个任务需要执行几层以获得最佳输出，并在稀疏信号恢复和通信信道估计方面表现出更高效和更好的性能。

    Oct, 2020

  • 深度神经网络的可微稀疏化

    本文提出一种全可微的神经网络稀疏化方法，结合随机梯度下降，可以训练参数为零的稀疏结构和权重。该方法直接适用于现代深度神经网络，对现有模型的修改最小，并为未来的结构学习和模型压缩方法奠定了基础。

    Oct, 2019

  • 具有结构稀疏性的增强：差分包容方法

    本文提出了一种基于约束梯度下降和结构稀疏性控制的新型 Boosting-type 算法 Split LBI，其在模型选择方面比流行的广义 Lasso 更具优势，并可以实现路径一致性和最小二乘误差下降到最小的最优化速率，为图像去噪、运动队部分排序和大学排名等多个领域的应用提供了实用和好处。

    Apr, 2017

  • 网络剪枝空间

    本研究提出网络剪枝空间的概念，探讨子网络结构在不同剪枝范围内的最小精度损失并证明了在某个剪枝范围内存在最佳的 FLOPs-to-parameter-bucket 比率，通过实验结果表明，我们找到的子网络在合理的 FLOPs 下优于现有最先进的剪枝方法。

    Apr, 2023

  • 深度尺度空间：尺度等变性

    介绍了深度尺度空间 (DSS)，一种卷积神经网络的推广，利用传统图像识别任务的尺度对称结构。在构建尺度等变的互相关基础上，可以在几乎任何现代深度学习架构中以即插即用的方式使用。通过应用于 Patch Camelyon 和 Cityscapes 数据集，证明了其实用性和高效性，并进行自省研究以进一步了解其性质。

    May, 2019

  • 通过微分包含实现稀疏恢复

    本文介绍了一种基于 nonlinear differential inclusions 的 inverse scale space (ISS) 方法，命名为 Bregman ISS 和 Linearized Bregman ISS，可用于从噪声线性测量中恢复稀疏信号，并给出了相应的正当性和理论保证。

    Jun, 2014