Mar, 2023

学习、遗忘和再学习：深度神经网络的在线学习范式

HTML
PDF
TL;DR介绍了一种在线学习范式——Learn, Unlearn和Relearn (LURE)，该范式通过交替的遗忘和重学习减少DNNs中数据错误的影响并增加模型的鲁棒性和泛化性能。
发现论文，激发创造
  • 网络修剪：一种面向高效深度结构的数据驱动神经元裁剪方法

    该论文提出了基于剪枝算法的神经网络优化方法，能够在不影响网络准确率的情况下减轻计算和内存开销，实现较高的参数压缩比。

    Jul, 2016

  • 在线深度学习：即时深度神经网络学习

    论文提出了一种在线深度学习框架，使用新提出的Hedge Backpropagation方法，实现了对来自稳态和概念漂移情况下的大规模数据集进行自适应深度的DNN模型学习。

    Nov, 2017

  • 深度重连：训练极度稀疏的深度网络

    DEEP R是一种基于后验随机抽样的算法，可以直接训练稀疏连接的神经网络，可以在标准基准测试任务中训练非常稀疏的前馈和递归神经网络，性能损失很小。

    Nov, 2017

  • 深层门控网络：深度学习训练和泛化的框架理解

    通过深门控网络作为框架，理论分析和实验验证了几种DGNs变体，阐述了深度神经网络的训练和泛化方面的问题，着重讨论了为什么增加深度能帮助训练到一定程度，而增加深度会伤害训练，以及证明了门控自适应在泛化中的关键作用。

    Feb, 2020

  • 高效深度学习：关于使深度学习模型更小、更快、更好的调查

    介绍了深度学习效率问题和五个核心领域，包括建模技术、基础设施和硬件，并提出实验指南和代码，为实践者优化模型培训和部署提供支持。这是第一个详尽的调查，涵盖了从建模技术到硬件支持的模型效率领域，帮助实践者实现改进并装备他们以进行进一步的研究和实验。

    Jun, 2021

  • 训练高效的卷积神经网络：优化神经网络的基本组成部分，创造更轻、更快、更强韧的模型

    本研究旨在回顾各种最先进技术，探讨如何通过序列减少训练参数和使用像全局均值池化、深度卷积和挤压、模糊化池等技术进行分阶段训练来构建高效的深度卷积网络，并成功实现了在MNIST数据集上仅使用1500个参数达到99.2%的高准确度，并在CIFAR-10数据集上仅使用超过140K个参数达到了86.01%的高准确度。

    May, 2022

  • 深度神经网络的高效在线处理

    本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用CIN重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN和Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

    Jun, 2023

  • 深度神经网络剪枝调查——分类、比较、分析和建议

    现代深度神经网络中，网络压缩已成为一项重要研究方向。本文通过综述现有文献，详细介绍了深度神经网络剪枝的研究方法、剪枝的不同层次以及未来发展方向，并提出了有价值的推荐建议。

    Aug, 2023

  • 适应后遗忘：利用参数空间语义在生成对抗网络中进行遗忘

    通过适应性调整和去学习的方法防止深度生成模型生成含有不需要的特征，并维持生成样本的质量。

    Sep, 2023

  • 通过基于Hessian-Free的个体数据统计回忆实现高效的在线遗忘

    机器遗忘旨在维护数据所有者的被遗忘权利，通过使模型有选择地忘记特定的数据。我们提出了一种基于Hessian的在线遗忘方法，通过计算学习模型和重新训练模型之间差异的仿射随机递归近似，为每个数据点维护一个统计向量，实现了几乎瞬时的在线遗忘，只需进行向量相加操作。基于重新收集遗忘数据的统计信息的策略，所提出的方法显著减少了遗忘运行时间。实验研究表明，所提出的方案在时间和内存成本方面的性能超过了现有结果，同时提高了准确性。

    Apr, 2024