该论文提出了一种基于滤波器组逼近的新型分解方法，该方法可以显著减少深度卷积神经网络中的冗余，同时保持大部分特征表示，通过在每层中利用滤波器组结构，相比于其他基于低秩分解算法，我们的方法可以在多个图像分类数据集上减少 80% 以上的算术运算量（FLOPs），并减少精度损失，另外，实验证明我们的方法有助于缓解压缩网络的退化现象，从而提高网络的收敛性和性能。

Jul, 2018

使用对称群 $S_n$ 上的群 Fourier 变换，逆向工程出一个能够理解 $S_5$ 和 $S_6$ 乘法的一层前馈网络。每个模型都发现了完整群的真实子群结构，并收敛于将群乘法分解为群的共轭子群乘法的电路。我们展示了利用数据和模型的对称性来理解它们的机制的价值，并举出了模型使用的 “余类电路” 作为神经网络实现计算的迷人示例。同时，通过将我们的工作与 Chughtai 等人的工作进行比较，我们还关注了当前进行机制可解释性研究的挑战。

Dec, 2023

本文介绍了一种有效的方法来解决组卷积剪枝的挑战，即将其制定为寻找最优通道置换以施加结构约束并通过启发式方法高效地解决。同时，本方法还应用启发式方法来探索基于估算的剪枝成本的分组配置，以最大化测试准确性。与之前的工作相比，结果表明我们的方法在更短的剪枝时间内为各种任务生成具有竞争力的组卷积模型，并可快速探索组配置以符合推断预算约束。

Nov, 2018

多粒度架构搜索（MGAS）是一个统一框架，旨在全面且高效地探索多粒度搜索空间以发现既有效又高效的神经网络，并在模型性能和模型大小之间取得更好的平衡。

Oct, 2023

本文介绍了一种名为 Groupable ConvNet (GroupNet) 的新型网络，通过新型的动态分组卷积（DGConv）操作学习端到端的组数，达到了优于传统 ResNet 和 ResNeXt 的准确性和计算复杂度。该方法具有统一的卷积表示，可执行许多现有卷积操作，是一个可微和灵活的操作，可以从训练数据中学习执行各种卷积操作。

Aug, 2019

利用神经架构搜索和细粒化技术提出了一个可以在单个层内使用多种异构操作，甚至可以使用多种基本操作生成组合特征映射的框架。该框架可以通过随机梯度下降方法端到端地训练网络，并优化网络的资源利用效率。在大规模图像分类和图像超分辨率等计算机视觉任务中，该框架通过灵活的操作搜索和通道剪枝实现了最先进的性能。

Nov, 2019

合作共进化算法（CC）经过密切结合策略发展为解决大规模全局优化（LSGO）问题的主导方法，而其效率和准确性主要受到分组阶段的影响。本文提出了一种复合可分性分组（CSG）方法，将差分分组（DG）和一般分离分组（GSG）有机整合到问题分解框架中，充分发挥两种方法的优势，以应对高计算复杂度的挑战。CSG 引入了逐步分解框架，通过递归地考虑每个非可分变量与已形成的非可分组之间的相互作用，准确地分解各种问题类型，并使用较少的计算资源。此外，为了增强 CSG 的效率和准确性，我们引入了两种创新方法：一种是乘性可分变量检测方法，另一种是非可分变量分组方法。通过广泛的实验结果表明，与 GSG 和最先进的 DG 系列设计相比，CSG 在更低的计算复杂度下实现了更准确的变量分组。

Mar, 2024

本文提出一种动态组卷积 (Dynamic Group Convolution, DGC) 方法，它不仅保留了原有网络结构，还能够根据输入图像动态选择连接哪些输入通道，以实现对图像语义特征的自适应提取，有效提高了卷积神经网络的计算效率和图像分类性能。

Jul, 2020

本文通过等价于分层张量分解的方式，分析了各种卷积神经网络架构特征的表达效率和归纳偏置，并提供了新的网络设计工具。

May, 2017

介绍了一种新型卷积神经网络，称为 Group equivariant Convolutional Neural Networks (G-CNNs)，它通过利用对称性降低样本复杂度，使用新型层 G-convolutions，增加网络的表达能力，且易于使用和实现。 G-CNNs 在 CIFAR10 和旋转的 MNIST 上实现了最先进的结果。

Feb, 2016