神经网络的计算需求逐渐增加，同时对资源有限的设备提出了部署挑战。网络剪枝是在保持性能的同时减小模型大小和计算成本的解决方案。本文提出了 FALCON，一种基于组合优化的网络剪枝框架，同时考虑了模型准确性、FLOPs 和稀疏性约束。我们的算法可以解决含有数百万参数的问题实例，并证明在固定 FLOP 预算下，FALCON 相比其他剪枝方法具有更高的准确性。此外，在逐步剪枝设置中，我们的框架表现优于现有的剪枝方法，强调了对有效网络剪枝而言，结合 FLOP 和稀疏性约束的重要性。

Mar, 2024

通过引入一种基于单一超参数的稀疏 Iso-FLOP 变换族，本文试图使用稀疏性提高密集模型的准确性和 FLOP 效率，实现不更改任何训练超参数而在计算机视觉和自然语言处理任务中获得显著的提高，例如 ResNet-18 在 ImageNet 上提高了 3.5％，GPT-3 Small on WikiText-103 下降了 0.4 个 PPL，并在不增加 FLOPs 的前提下，与使用 2 倍或更多 FLOPs 的大型密集模型变体相匹配。

Mar, 2023

提出了一种基于正则化函数的方法，学习高维稀疏表示，以在视觉检索中提高效率，其表现与其他基线方法相竞争，且在实际数据集中具有类似或更好的速度精度平衡。

Apr, 2020

本文提出一种自动修剪方法来减少神经网络中的 FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的 FLOPs。

Nov, 2021

通过提出局部卷积 (PConv) 和一种新的神经网络 FasterNet，实现了在广泛设备上获得比其他网络更快的运行速度，而不会牺牲各种视觉任务的准确性。

Mar, 2023

本论文提出了两种新的方法 —— 微型分解卷积和动态移位最大化激活函数，并将其应用在一种新型网络 MicroNet 中，使得在低计算复杂度条件下，ImageNet 分类任务 top-1 精度能够比 MobileNetV3 高出 9.6 个百分点。

Aug, 2021

本文提出了一种针对卷积神经网络的硬件优化方案，该方案采用两种针对不同层次的特定优化法，实现不同的计算方式以提高性能，并在最大程度上减少了占用芯片的内存及对外部内存访问的需求，从而缓解了 CPU 的压力并大幅提升了处理速度。

Sep, 2020

本文介绍了 MicroNet，一种高效的卷积神经网络，利用极低的计算成本（例如，在 ImageNet 分类中为 6 MFLOPs）。这种低成本网络在边缘设备上非常受欢迎，但通常会遭受显著的性能下降。我们提出了 Micro-Factorized 卷积和 Dynamic Shift-Max 激活函数两个设计原则，为构建性能显著优于现有最佳法在低 FLOP 区间的 MicroNets 打下基础，例如，MicroNet-M1 在 ImageNet 分类中以 12 MFLOPs 为 6.1％，超过 MobileNetV3 的 11.3％。

Nov, 2020

本论文提出了一种方法来训练稀疏神经网络，使其在训练过程中保持固定参数数量和固定的计算成本，同时不损失相对于现有密集到稀疏训练方法的准确性，该方法通过使用参数大小和不频繁的梯度计算来更新稀疏网络的拓扑结构。在多种网络和数据集上，我们展示了稀疏训练结果在 ResNet-50、MobileNets on Imagenet-2012、以及 RNNs on WikiText-103 方面的最新技术进展。最终，我们提供了一些见解，为什么允许在优化过程中更改稀疏神经网络拓扑结构可以克服当拓扑结构保持静态时遇到的局部极小值。

Nov, 2019

本文介绍了 trojans 团队在 ICCV19-Lightweight Face Recognition Challenge 中提交的解决方案。该解决方案通过基于 Flops 约束的搜索网络架构 “Efficient PolyFace”、一种新的损失函数 “ArcNegFace”、一种新的帧聚合方法 “QAN++” 以及一系列有用的实现技巧，取得了 94.198% @ 1e-8 和 72.981% @ 1e-4 的最先进成果。

Sep, 2019