本文介绍了一种低复杂度的卷积神经网络 Butterfly-Net，其具有结构化和稀疏的跨通道连接，并且提出了 Butterfly 网络族的初始化策略。理论分析表明，Butterfly-Net 对输入数据的傅里叶表示的逼近误差随着深度的增加呈指数衰减，并将 Butterfly-Net 与完全连接神经网络相结合，证明了广泛的问题可以用网络复杂性来逼近而不是输入维度。数值实验验证了 Butterfly 初始化的训练效果优于随机初始化，并且增加剩余的跨通道连接，尽管显著增加了参数数量，但不能大幅提高后训练准确性，而且更加敏感于数据分布。

May, 2018

提出了基于蝴蝶层的可逆线性层族，构建了一种新型正则化流模型 ButterflyFlow， 在天然图像（如 MNIST、CIFAR-10 和 32x32 的 ImageNet）和结构化数据集（如星系图像和 MIMIC-III 病人群）上获得了更强的密度估计结果和更好的对数似然，同时在内存和计算方面比相关基线更高效。

Sep, 2022

该研究提出了一种名为 Pixelated Butterfly 的稀疏模型训练方法，通过优化连续超集上的蝶式矩阵，采用简单的蝶式块和低秩矩阵稀疏化网络层，使训练速度提高 3 倍，并在 ImageNet 分类和 WikiText-103 语言建模任务中，使稀疏模型的训练速度比密集的 MLP-Mixer、Vision Transformer 和 GPT-2 medium 提高了 2.5 倍，而且精确度并未下降

Nov, 2021

本文借鉴蝴蝶算法思想，提出了一种可应用于 CNN 架构中的通道融合算法 BFT，该算法能够在保证一定精度的情况下，大幅降低计算复杂度。实验表明，相较于现有的基于最优化搜索的方法，本文提出的算法在一定的计算复杂度范围内能够获得更高的 Top-1 准确率。

Jun, 2019

研究了多个神经架构之间的相似性和差异性，通过对耦合流与蝴蝶变换的研究，提出了非线性蝴蝶混合器，包括 Butterfly MLP 和 Butterfly Attention，证明了它们在处理不同维度的输入上的高效性和可扩展性。

Nov, 2023

本文提出了一种名为 BT-layers 的新的神经网络结构，使用低秩分块张量来近似权重矩阵，能够大幅缩小 DNN 的参数数量，同时保持或提高其表征能力。

Oct, 2020

通过将 3D 重塑的卷积核张量与其各种分片和秩 - 1 分解相连，连接了各种张量逼近方法和高效 CNN 模块之间的直接联系，同时发现点对点深度点（PDP）配置对于轻量级 CNN 构造是可行的，并建立了与最新的 ShiftNet 的新链接，启发了首次移位层修剪，能够以小于 1% 的精度下降实现近 50% 的压缩。

Dec, 2023

本论文研究了如何使用 Tensor Train 格式转换全连接层的矩阵从而减少深度神经网络的参数数量和计算量，试验结论表明该方法可以将全连接层的参数压缩两百万倍，对整个网络的压缩比可达 7 倍。

Sep, 2015

本文介绍了一种名为 Decomposable-Net 的深度神经网络压缩方法，通过奇异值分解和调整矩阵秩，允许灵活改变模型大小，而无需进行微调，能够在多种模型大小下提高模型性能。

Oct, 2019

建立在神经切向核 (NTK) 和随机矩阵理论 (RMT) 的最新进展之上，我们提供了一种创新的压缩方法用于宽且全连接的深度神经网络，实现 “无损” 压缩，即压缩后的网络在渐近意义下与原始网络具有相同的 NTK，权重和激活只取值于 {0, ±1}。

Mar, 2024