Jun, 2019

蝴蝶变换：一种基于 FFT 的高效神经架构设计

PDF
TL;DR本文借鉴蝴蝶算法思想，提出了一种可应用于 CNN 架构中的通道融合算法 BFT，该算法能够在保证一定精度的情况下，大幅降低计算复杂度。实验表明，相较于现有的基于最优化搜索的方法，本文提出的算法在一定的计算复杂度范围内能够获得更高的 Top-1 准确率。
butterfly transformcnn designscomputational complexitychannel fusionmobilenets
发现论文，激发创造
  • 蝴蝶网：基于卷积神经网络的最优函数表示

    本文介绍了一种低复杂度的卷积神经网络 Butterfly-Net，其具有结构化和稀疏的跨通道连接，并且提出了 Butterfly 网络族的初始化策略。理论分析表明，Butterfly-Net 对输入数据的傅里叶表示的逼近误差随着深度的增加呈指数衰减，并将 Butterfly-Net 与完全连接神经网络相结合，证明了广泛的问题可以用网络复杂性来逼近而不是输入维度。数值实验验证了 Butterfly 初始化的训练效果优于随机初始化，并且增加剩余的跨通道连接，尽管显著增加了参数数量，但不能大幅提高后训练准确性，而且更加敏感于数据分布。

    May, 2018

  • FlashFFTConv：基于张量核的长序列高效卷积

    我们提出了 FlashFFTConv，一个优化 FFT 卷积的方法，使用矩阵分解结构和稀疏卷积算法实现了长序列任务的加速，同时在计算资源限制下，提高了模型的性能和准确度。

    Nov, 2023

  • 用快速傅立叶变换优化卷积神经网络在目标识别中的应用

    该研究提出使用基于 FFT 的 U-Net 对卷积神经网络中的图像卷积成本进行改进，并应用于 BBBC 数据集，成功地将训练时间从 600-700ms / 步缩短至 400-500ms / 步，以及在 IoU 指标上取得了显著的提高。

    Oct, 2020

  • 使用快速傅里叶变换和重叠相加的卷积神经网络极其高效训练

    使用 “重叠相加” 技术和快速傅里叶变换来减少卷积神经网络中卷积层的计算时间，实现了更高效的向前和向后传播。

    Jan, 2016

  • 使用 FBFFT 的快速卷积神经网络：GPU 性能评估

    本文研究了卷积神经网络在当前 NVIDIA 图形处理器上的性能，介绍了两种新的快速傅立叶变换卷积实现，对于整个 CNN，fbfft 比 cuFFT 快 1.5 倍以上，并且对于许多普通的卷积层，速度也比 NVIDIA 的 cuDNN 实现 快（达到了一些合成内核配置的 23.5 倍）。

    Dec, 2014

  • ButterflyFlow: 使用蝶矩阵构建可逆层

    提出了基于蝴蝶层的可逆线性层族，构建了一种新型正则化流模型 ButterflyFlow， 在天然图像（如 MNIST、CIFAR-10 和 32x32 的 ImageNet）和结构化数据集（如星系图像和 MIMIC-III 病人群）上获得了更强的密度估计结果和更好的对数似然，同时在内存和计算方面比相关基线更高效。

    Sep, 2022

  • 蝴蝶分解优化的参数高效正交微调

    该研究论文提出了一种基于正交蝶形结构参数化的参数高效微调方法，命名为 Orthogonal Butterfly (BOFT)，并进行了大型视觉转换模型、大型语言模型和文本到图像扩散模型在不同视觉和语言下游任务中的广泛实证研究。

    Nov, 2023

  • 通过 FFT 快速训练卷积神经网络

    本文提出了一种使用 Fourier 变换和 GPU 架构，加速卷积网络的训练和推理的算法，并在现有技术的基础上取得了数量级上的改善。

    Dec, 2013

  • 轻盈飞行：一种全可变形蝴蝶网络

    通过将滤波矩阵分解为类似于蝴蝶的因子，DeBut 图层可以实现与传统剪枝或低秩分解不同的网络压缩，通过开发自动化的 DeBut 链生成器，首次实现了将 DNN 全面均匀化为所有的 DeBut 图层，从而实现极度稀疏化和压缩，并通过各种例子和硬件基准测试验证了 All-DeBut 网络的优势，特别地，我们展示了将一个 PointNet 压缩到小于 5% 的参数并且准确率下降小于 5％的可能性，这是其他压缩方案所无法实现的。

    Nov, 2023

  • 现代 CPU 上 FFT 卷积比 Winograd 更快，这是为什么

    比较了三种高度优化的实现方式（常规 FFT、Gauss-FFT 和 Winograd-based convolution）在现代多核和众核 CPU 上的效果，并使用 Roofline 性能模型对三种方法的计算阶段进行了详细的分析，结果显示 FFT-based 实现通常优于 Winograd-based approach。

    Sep, 2018