本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

Aug, 2017

利用 LayerCollapse 方法进行适应性模型压缩，通过消除网络中的非线性并将两个连续的全连接层合并为单个线性变换，同时减少层数和参数数量，提高模型效率；引入压缩感知正则化器，根据数据集质量和模型表现压缩模型，减少过拟合；实验证明 LayerCollapse 在多个细粒度分类基准测试中实现有效的压缩和正则化，最高在训练后压缩 74% 但准确度损失最小；与知识蒸馏方法对比，在 ImageNet 数据集上计算效率提高五倍，整体准确度提高 8%。

Nov, 2023

本篇研究提出并研究了图卷积神经网络 (GNNs) 的图压缩问题，旨在将原始大图压缩成小型合成图以提高神经模型训练的时间性能，通过优化梯度匹配损失和设计一种策略同时压缩节点特征和结构信息，有效地将不同图数据集压缩成信息丰富的较小图并将其用于训练各种 GNN 体系结构，测试结果在 Reddit 上可达到 95.3％，在 Flickr 上可达到 99.8％，在 Citeseer 上可达到 99.0％，同时将其图的尺寸缩小了 99.9％以上。

Oct, 2021

本文介绍了如何通过交叉通道池化技术减少轻量级卷积神经网络的计算复杂度，提高对象检测的准确性，并采用 Condensation-Net 算法，实现在有限的硬件资源平台上的图像识别任务。

Apr, 2021

本文提出了一种保守的神经网络缩减方法，该方法能够在验证减小的网络的同时，确保验证原始网络，可以适用于任何类型的激活函数，使得网络能够被缩小到不到原来的 5% 的大小，从而显著减少了验证时间。

May, 2023

本文介绍了一种名为 CondenseNet 的新型神经网络体系结构，其使用学习组卷积方法实现了稠密连接，移除了那些无用的连接，并使得此模型比类似 MobileNets 和 ShuffleNets 的最先进紧凑卷积网络更为高效。

Nov, 2017

本研究探讨了卷积神经网络在小初始化和梯度训练方法下内核权重的凝聚现象，实验证明该现象在卷积神经网络中同样存在且显著。理论上，本研究证明在有限的训练期间，具有小初始化的两层卷积神经网络内核将收敛至一个或几个方向，为对具有专业结构的神经网络表现出的非线性训练行为的更好理解迈出了一步。

May, 2023

通过理论分析，我们揭示了三层神经网络训练中凝聚现象的机制，并从二层神经网络训练中进行了区分。我们还建立了有效动力学的爆炸特性，并给出了凝聚现象发生的充分条件，并通过实验证实了这些发现。此外，我们探索了凝聚与深度矩阵分解中观察到的低秩偏差之间的关联。

Feb, 2024

本文介绍了一种称为 Self-Compression 的方法，可以移除神经网络中的冗余参数和减少表示权重所需的位数，从而简化网络结构，提高训练和推断效率。作者通过实验证明，使用 Self-Compression 方法可以在只保留网络中 18% 的权重和仅需 3% 的位数的条件下，还能实现浮点数的准确性。

Jan, 2023

本文介绍了一种名为 Condensa 的可编程模型压缩系统，可以通过程序化组合简单的操作符来构建更复杂和实际的压缩策略，并使用贝叶斯优化算法自动推断最佳稀疏度，实验结果表明，该系统可以在保持较高准确率的前提下，将存储占用和运行时间分别提高 188 倍和 2.59 倍。

Nov, 2019