Jun, 2023

无权重冻结：全连接层的正则化方法，及其在脑电分类中的应用

PDF
TL;DR该研究基于神经科学先前知识和人工神经网络规则化的原则，提出了一种名为 “权重冻结” 的新型方法，该方法通过冻结神经网络中的某些部分，可显著提高脑电图中特定任务的分类精度，验证了权重冻结的有效性，并表明它比传统的全连接网络更为有效。
eeg decodingartificial neural networksweight freezingregularizationclassification accuracy
发现论文，激发创造
  • 基于正则化的深度神经网络结构中不相关参数修剪

    本研究提出了一种基于正则化技术实现学习稀疏神经拓扑结构的方法，包括对非相关权重标定、压缩优化以及迭代式意义下的参数消除。在图像分类与自然语言生成任务中进行测试，并通过数据指标达到与或优于竞争对手等表现。

    Apr, 2022

  • SmartFRZ：一种利用基于注意力的层冻结的高效训练框架

    通过注意力引导的冻结层方法在模型训练中智能地选择适当的层进行冻结，以提高训练效率并在时间上取得显著加速，从而优于现有的层冻结方法。

    Jan, 2024

  • 深度自编码器权重扰动在表格数据压缩和分类中的应用

    本文提出了周期性扰动深度神经网络权重的方法，尤其是在深度自动编码器的自监督预训练阶段。该方法在表格数据分类任务中比 dropout 方法表现更好，并可用于压缩深度预训练模型。此外，本文揭示了深度模型在表格数据集中的成功归因于真实世界数据集中必然存在的相关变量。

    May, 2022

  • Egeria: 基于知识引导的层冻结技术用于高效 DNN 训练

    本文介绍了一种跳过计算和通信过程的深度神经网络培训方法，采用层冻结技术，通过量子化技术实时地生成参考模型，以达到评估每个层的训练效果并安全地冻结已经达到了期望的层的效果，从而获得 19% 至 43% 的培训速度提升。

    Jan, 2022

  • ELSA：无额外开销的稀疏网络部署中的部分权重冻结

    ELSA 是一个实用的解决方案，可以在不同稀疏级别上轻松部署的深度网络。在预测时，只需根据预定义的掩码将权重清零，即可轻松提取任何稀疏模型，ELSA 具有简单、强大和高度灵活的特点，可以使用几乎任何现有的网络稀疏化和网络训练技术。实验证明，与独立训练和存储的多个稀疏网络相比，ELSA 在灵活部署方面的优势几乎不会或只会带来可忽略的预测质量下降。

    Dec, 2023

  • 基于部分超网络的持续学习

    本研究提出了部分权重生成的超网络，针对连续学习中忘记问题进行了实验，发现与激活重演方法相比，部分超网络保持了先前经验的准确性，并提供了计算和最终测试准确性之间有效的平衡。

    Jun, 2023

  • 全连接层在低数据域中的异常有效性

    本文提出了一种简单而有效的框架，将现代卷积神经网络 (CNNs) 与全连接 (FC) 层相结合，展示了这种架构变化在小数据区间的巨大影响。另外，还提出了一种在线联合知识蒸馏方法，以利用额外的 FC 层来提高 CNN 模型的泛化能力，并在测试时避免了它们。我们在超级学习和主动学习的几个标准数据集上进行了分类实验，实验结果明显优于没有全连接层的网络，在有监督设置下准确率最高可达到 16%。

    Oct, 2022

  • 在修剪的权值预算上进行完整深度神经网络训练

    本研究提出了一种 DNN 训练技术，该技术可以在不影响准确率的情况下，只学习了部分全参数集。此方法使用反向传播约束更新权重的总数，以仅跟踪具有最高总梯度的权重。通过确保总权重扩散保持接近于基线未修剪 SGD 的扩散，使用我们技术进行修剪的网络能够在网络架构中保留领先的状态，包括先前被认为难以压缩的网络。我们在 ImageNet 上使用 ResNet18 观察到了 11.7 倍的权重减少无准确性损失，最多可达 24.4 倍，但具有小的准确性影响。

    Jun, 2018

  • 稀疏训练通用框架的两个关键环节：层冻结和数据筛选

    该论文提出了一种名为 SpFDE 的通用框架，通过采用稀疏训练、层冻结、数据筛选等技术，可以有效地降低训练成本并保持准确性。

    Sep, 2022

  • 学习权重和连接以实现高效神经网络

    通过三步法修剪不必要的神经元连接，我们成功将 AlexNet 的参数从 6100 万精简到了 670 万，无性能损失。

    Jun, 2015