Jun, 2024

增强神经表示的准确性和参数效率

PDF
TL;DR参数化神经网络权重的准确性和参数效率之间的基本权衡被研究，表明通过仅使用权重重构目标可以有效地实现恢复原始模型的准确性。此外，通过探索提高权重重构在参数效率约束下的潜在因素，提出了一种新的训练方案，将重构目标与知识蒸馏等辅助目标分离，相对于最先进的方法取得了显著的改进。最后，这些结果为更实际的场景铺平道路，其中需要同时改进模型准确性和预测网络参数效率。
neural network weightsparameter efficiencyweight reconstructiontraining schemepredictor network
发现论文，激发创造
  • 基于熵罚项重新参数化的可扩展模型压缩

    本文提出一种在神经网络中进行权重压缩的通用方法，利用潜变量重新调参，在学习过程中施加熵惩罚，并在训练后使用简单的算术编码器对其进行压缩，实现了模型的压缩和分类准确率的最大化。

    Jun, 2019

  • 数据重构解构：多类别、权重衰减和一般性损失

    本研究延伸了 Haim 等人的研究结果，提出了一种更加通用的重构方案，发现使用权重衰减可以提高训练样本的可重构性，并研究了神经网络结构、损失函数等因素对其可重构性的影响。

    Jul, 2023

  • 深度学习参数预测

    作者通过研究证明，多个深度学习模型的参数化存在显著冗余，只需几个权重值，即可准确地预测其余值，且许多权重值无需学习，通过学习小部分权重值并预测其余值，能在不降低准确性的情况下预测网络中超过 95% 的权重值。

    Jun, 2013

  • 在修剪的权值预算上进行完整深度神经网络训练

    本研究提出了一种 DNN 训练技术，该技术可以在不影响准确率的情况下，只学习了部分全参数集。此方法使用反向传播约束更新权重的总数，以仅跟踪具有最高总梯度的权重。通过确保总权重扩散保持接近于基线未修剪 SGD 的扩散，使用我们技术进行修剪的网络能够在网络架构中保留领先的状态，包括先前被认为难以压缩的网络。我们在 ImageNet 上使用 ResNet18 观察到了 11.7 倍的权重减少无准确性损失，最多可达 24.4 倍，但具有小的准确性影响。

    Jun, 2018

  • 多域深度神经网络的高效参数化

    本文提出用一些适量的参数区分不同的子任务，从而在视觉领域的多个任务中进行迁移学习，此类参数化极易压缩且具有较高的性能。

    Mar, 2018

  • 神经重新参数化改善结构优化

    本文提出，使用神经网络所引入的函数隐式偏置以改善结构优化的参数化，通过优化神经网络参数来代替在网格上直接优化密度，使得优化结果更为理想，在 116 个结构优化任务中，我们的方法比最佳基线方法更为有效。

    Sep, 2019

  • 从权重预测神经网络的准确性

    本研究证明了只通过观察神经网络的权重，而不必评估其输入数据，就能惊人地预测其准确性。通过使用简单的权重统计信息，预测器能够非常准确地排名神经网络的性能，并能对不同数据集和架构训练的网络进行排名。我们发布了一个包含 120k 个卷积神经网络的数据集，以鼓励更多人进行研究，从而更好地了解网络训练和性能。

    Feb, 2020

  • 使用引导权重的深度学习中的稀疏不确定性表示

    本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

    May, 2021

  • 无关权重的神经网络

    本研究提出了一种搜索方法，寻找可以无需显式权重训练即可执行任务的神经网络框架，并证明该方法可以找到最小的神经网络架构，无需权重训练即可执行多个强化学习任务。

    Jun, 2019

  • 通过权重置换训练的神经网络是通用近似器

    通过证明其引导 ReLU 网络逼近一维连续函数的能力，并在各种初始化情况下实现回归任务的高效性，本文提供了对一种新颖的基于排列的训练方法的理论保证，其在不修改权重值的情况下展示出理想的分类性能。权重排列过程中的显著观察提示了排列训练可能会提供一种描述网络学习行为的创新工具。

    Jul, 2024