本研究提出了一种通过网络结构正则化来优化深度神经网络的新方法，在训练过程中简化神经网络可以在合理的计算时间内实现良好的性能，该方法在稀疏线性回归、深度自编码器和卷积神经网络等方面证明了出色的性能。

Jun, 2016

本文研究深度神经网络在领域迁移后的压缩问题，提出一种基于低秩矩阵分解的压缩算法，结合目标域的激活统计信息，在不降低模型性能的情况下将模型参数量压缩至传统技术的5-20%。

Sep, 2017

本研究提出了一种基于引导选择节点赋予权重的智能随机失活方法，在多个数据集上的实验评估证明了该方法在提高深度神经网络泛化能力方面的有效性。

Dec, 2018

本文提出了一个基于动量优化（momentum-SGD-based optimization）的优化方法，用于压缩DNN模型，从而消除冗余参数，减少网络的复杂度。该方法采用全局压缩策略来自动找到层次的稀疏率，经过优化后能够无需耗费时间进行重训练的过程，具有更好的压缩效果和训练能力。

Sep, 2019

本文提出了PermDNN，一种新的方法来生成和执行硬件友好的结构稀疏DNN模型，使用置换对角线矩阵。与当前方法相比，PermDNN具有更好的压缩效果、灵活的压缩比、简单的算术计算和全利用输入稀疏性的优势，并取得了更高的吞吐量和更好的能量效率。

Apr, 2020

本研究揭示了训练算法的动态特性在实现神经网络压缩方案上起着关键作用，通过将压缩性与随机梯度下降的近期性质联系起来，本文证明了当神经网络遵循一定条件时，网络参数具有稀疏性，并且压缩误差可以任意减小，同时可证明良好的压缩性可降低泛化误差，该理论得到了各种神经网络的数值实验验证。

Jun, 2021

本文提出了一种基于深度学习的科学误差边界有损压缩器SRN-SZ，利用超分辨率神经网络实现分层数据网格扩展模式，相较其他压缩器在相同误差边界下压缩率提高了75％，在相同峰值信噪比下压缩率提高了80％。

Sep, 2023

提出了一种优化深度神经网络训练效果的方法，通过参数预测来改进模型性能，通过实验证实了该方法在不同的深度神经网络结构上提高了训练效率和性能。

Oct, 2023

基于二阶算法和Hessian矩阵的优化器SGD-PH在深度神经网络训练中取得了良好的性能。

Mar, 2024

基于图神经网络（GNN）的随机抛弃法的泛化误差优化方法FlexiDrop在实验中表现出比传统随机抛弃方法更好的性能。

May, 2024