Mar, 2021

学习频域逼近用于二值神经网络

PDF
TL;DR本文提出了一种使用正弦函数组合估计傅里叶频率域中的符号函数梯度的方法，同时嵌入噪声自适应模块来弥补近似误差，结果表明该方法训练的二进制神经网络可达到最先进的精度水平。
binary neural networksgradient estimationfourier frequency domainnoise adaptationstate-of-the-art accuracy
发现论文，激发创造
  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

    Dec, 2018

  • 深度神经网络在频域下的训练行为

    通过对实际和合成数据集的实证研究，我们发现常见设置下的深度神经网络首先快速捕捉到主导低频部分，然后相对缓慢地捕捉高频部分，我们称之为频率原理 (F-Principle)，这一原则有助于理解早停的效果以及神经网络的泛化。

    Jul, 2018

  • 神经网络中频率偏差动态的理解

    传统神经网络在学习过程中存在频率偏差，本研究通过偏微分方程研究了神经网络中错误频率的动力学，进一步证明了通过适当选择初始化权重的分布可以消除或控制频率偏差，并实验证实了该原理也适用于多层神经网络。

    May, 2024

  • 稀疏化二进制神经网络的二进制域泛化

    该论文提出了一种新的更一般的二进制域，扩展了标准二进制域，并且更适合剪枝技术，在保证性能的同时提高了压缩率，这种方法与其他修剪策略相结合可以生成高效稀疏网络，并减少内存使用和运行时间延迟。

    Jun, 2023

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • BiPer：使用周期函数的二进制神经网络

    通过使用二进制周期函数，将二进制神经网络的前向和反向模型一致化，可以控制量化误差并提高网络性能。在 CIFAR-10 和 ImageNet 数据集上的分类任务中，相比于现有方法，我们的方法能获得高达 1% 和 0.69% 的改进效果。

    Apr, 2024

  • 用傅里叶分析理解深度学习中的训练和泛化

    通过傅里叶分析，研究 DNN 训练的理论框架，解释了梯度下降法训练 DNN 经常赋予目标函数低频分量更高的优先级，小的初始化导致 DNN 具有良好的泛化能力，同时保留拟合任何函数的能力。这些结果进一步得到了 DNN 拟合自然图像、一维函数和 MNIST 数据集的实验证实。

    Aug, 2018

  • 克服神经价值近似的光谱偏差

    本文探讨了如何通过使用复合神经切向核的傅里叶特征网络来克服多层感知器和神经核回归中存在的高频率成分拟合所需的步骤数指数级增加的问题，以提高深度增强学习的效率和稳定性，并取得了令人瞩目的实验结果。

    Jun, 2022

  • 位元神经网络

    通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

    Jan, 2016

  • 频率原理：傅里叶分析揭示深度神经网络

    本研究从傅里叶分析的角度研究了深度神经网络（DNNs）的训练过程，并提出了一种非常通用的频率原理（F-Principle），即 DNNs 通常从低到高频率拟合目标函数，在常用激活函数的规律性的影响下表现出异于传统迭代数值方案的行为。这种 F-Principle 说明 DNNs 有一个隐含的偏差，即倾向于通过低频函数来拟合训练数据，从而提供了 DNNs 在大多数实验数据集上的良好泛化能力和在奇偶函数或随机数据集上的较差泛化能力的解释。

    Jan, 2019