ICLRMar, 2023

了解在二值网络训练中的权重幅度超参数

PDF
TL;DR本文提出了一种基于高阶梯度过滤的新解释，用于解释二进制神经网络中的大小基于超参数的影响，并为其优化设计新的过滤器。通过这种改进的理解，我们可以减少超参数的数量和调整的努力，从而提高二进制神经网络的准确性。
binary neural networksmagnitude-based hyperparametersoptimization filtershyperparameter tuninghigher-order gradient filtering
发现论文，激发创造
  • 潜在权重不存在：重新思考二值化神经网络优化

    本文探讨了二值神经网络（BNNs）优化的问题，提出了将潜在权值解释为惯性，并引入了 BNNs 的第一个优化器 ——Binary Optimizer（Bop），以提高训练方法学的效率。该优化器在 CIFAR-10 和 ImageNet 上表现良好。

    Jun, 2019

  • 二元神经网络的高维几何

    通过高维几何理论解释二元神经网络之工作机制，为压缩神经网络提供更深入的理解并为其他神经网络架构如循环神经网络的泛化提供基础。

    May, 2017

  • 二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

    本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

    Feb, 2016

  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

    Dec, 2018

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • 二值化神经网络

    本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

    Feb, 2016

  • 概率二元神经网络

    本文提出使用二进制权重和激活的神经网络的概率训练方法 - BLRNet，通过随机性避免了对 sign () 等不可微函数的梯度的逼近，并仍在测试时获得完全的二进制神经网络。 此外，它允许通过从权重分布中进行抽样来进行任时集成预测以提高性能和不确定性估计。我们在多个标准基准上评估了 BLRNet。

    Sep, 2018

  • 用二元神经网络降低深度生成模型的计算成本

    本文研究二值神经网络在生成模型中的应用，通过开发一类新的二值权重规范化方法和提供针对这些二值化生成模型的架构设计，成功地训练出使用二值神经网络的生成模型，使得模型的计算成本大幅降低，但损失函数的值接近于原模型，模型体积更小且速度更快。

    Oct, 2020

  • 旋转二元神经网络

    本文提出了旋转二进制神经网络 (RBNN) 框架，通过调整全精度权重向量和其二进制版本之间的角度对齐，优化量化误差。利用可调节的旋转权重向量来实现二值化过程的合理转化，最终在 CIFAR-10 和 ImageNet 数据集上取得了比多个现有模型更好的结果。

    Sep, 2020

  • 基于对比学习的网络二值化

    本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

    Jul, 2022