Jun, 2024

基于相量驱动的快速傅里叶变换卷积神经网络加速

PDF
TL;DR通过使用极相表达形式作为替代传统方法的更高效的选择，我们的方法在 CIFAR-10 和 CIFAR-100 数据集上相较于现代 CNN 架构采用的矩形形式，实现了训练和推断速度的最高提升分别达到 1.376 和 1.390。同时，我们的方法可应用于任何基于卷积的深度学习模型，而无需进行设计更改。
deep learningfast fourier transformconvolutional neural networksphasor formspeed improvements
发现论文，激发创造
  • 使用 FFT 分裂卷积加速卷积神经网络

    该论文提出了一种新的卷积神经网络快速傅立叶变换域处理方法，该方法基于输入分割，可以有效地解决卷积神经网络中小核计算的问题，并通过硬件实现和复杂性分析验证了其性能。

    Mar, 2020

  • 通过 FFT 快速训练卷积神经网络

    本文提出了一种使用 Fourier 变换和 GPU 架构，加速卷积网络的训练和推理的算法，并在现有技术的基础上取得了数量级上的改善。

    Dec, 2013

  • 使用快速傅里叶变换和重叠相加的卷积神经网络极其高效训练

    使用 “重叠相加” 技术和快速傅里叶变换来减少卷积神经网络中卷积层的计算时间，实现了更高效的向前和向后传播。

    Jan, 2016

  • 无需 ADC/DAC 的深度神经网络频率转换模拟加速

    通过利用模拟域基于频率的张量变换，本文提出了一种能够实现能耗高效的频率域神经网络加速方法，包括边缘处理、频域模型压缩、数组微架构和能效提升等关键技术。

    Sep, 2023

  • 相位匹配用于样本外泛化

    通过引入基于 Fourier 变换的结构性因果模型，本文旨在阐明领域泛化和频率组分之间的关系，将相位谱解释为半因果因素，将幅度谱解释为非因果因素。在多个基准测试中，通过对幅度谱进行扰动并建立空间关系来匹配相位组分，我们的方法在领域泛化和超出分布鲁棒性任务中取得了最先进的性能。

    Jul, 2023

  • 使用 FBFFT 的快速卷积神经网络：GPU 性能评估

    本文研究了卷积神经网络在当前 NVIDIA 图形处理器上的性能，介绍了两种新的快速傅立叶变换卷积实现，对于整个 CNN，fbfft 比 cuFFT 快 1.5 倍以上，并且对于许多普通的卷积层，速度也比 NVIDIA 的 cuDNN 实现 快（达到了一些合成内核配置的 23.5 倍）。

    Dec, 2014

  • 基于 FPGA 的混合高效卷积算法的人脸识别

    本研究通过探索多种快速卷积算法，包括 Winograd 和 FFT，并发现了一种将它们应用于不同类型卷积的最佳策略；实现在基于高级综合的可配置 IP 人脸识别加速系统中使用 FaceNet，并利用并行化的优化方案在新型 CNN 体系结构上，实现比高端 NVIDIA GPU 快 3.75 倍的延迟加速，并显著超过先前的 FPGA 结果。

    Mar, 2018

  • 复值神经网络在非平稳物理数据的机器学习中的应用

    本文研究探讨了使用复数和包含相位信息的卷积神经网络对具有相位信息的信号（例如地震数据或电气信号）进行非线性特征提取，实验表明，这种方法能提高网络的泛化性能和准确率。

    May, 2019

  • 幅度相位重组：在频域重新思考卷积神经网络的鲁棒性

    本文研究使用图像的相位与幅度谱对于卷积神经网络在图片分类中的作用，发现使用相位谱能使网络更加稳健，利用此结论我们设计了新的数据增强方法并在多项测评中取得了最优结果。

    Aug, 2021

  • Deep-Waveform: 基于深度复杂卷积网络的学习型 OFDM 接收器

    本文提出了一种基于深度复数卷积网络 (DCCN) 的方案，用于从时域 OFDM 信号中恢复位，该方案利用 OFDM 波形的循环前缀 (CP) 以增加信噪比，并具有将 CP 利用，信道估计和 ISI 抑制相结合的优点。实验结果表明，DCCN 接收机在各种时延扩展和移动性的 Rayleigh 衰落信道中的性能优于传统方法。此外，以复数卷积层的实现为背景，为无线 PHY 设计和分析卷积网络提供了精确和近似实现的指南。

    Oct, 2018