ICMLOct, 2020

通过学习带有噪声监督的方式训练二元神经网络

PDF
TL;DR本文从学习的角度对神经网络中的二值化操作进行了形式化描述，并提出了一种从全精度神经元映射到目标二进制神经元的映射方法，其采用了一种无偏估计方法以减轻监督噪声的影响，实验证明该二值化技术能够优于基准方法。
binarizationneural networkslearninghard thresholdingsupervision signal
发现论文，激发创造
  • 基于对比学习的网络二值化

    本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

    Jul, 2022

  • 利用贝叶斯学习规则训练二值神经网络

    本文提出了一种基于贝叶斯学习规则的方法来解决训练二进制神经网络的有限制的问题。该算法不仅能够获得最先进的性能，而且还能够估计不确定性以避免灾难性遗忘。

    Feb, 2020

  • 自二值化网络

    本文介绍一种训练自我二值化神经网络的方法，通过使用平滑激活函数代替符号激活函数，减少二值化过程中的优化难度，同时还提出了一种简化二值批归一化的方法，实现了比传统浮点和二值网络更低的内存和计算消耗以及更高的分类准确率。

    Feb, 2019

  • 用于人体姿态估计和图像识别的二进制网络的改进训练

    本篇论文提出一系列工程技术来改善二值化神经网络的准确性，包括更合适的激活函数、反向初始化、渐进式量化、网络叠加等，并在人体姿态估计和 ImageNet 大规模图像识别任务中验证了其优越性。此外，还首次探讨了二值化神经网络和知识蒸馏相结合的效果。

    Apr, 2019

  • 二元神经网络：综述

    本文综述了二值神经网络中直接二值化和优化二值化两种算法，其中优化二值化采用了诸如最小化量化误差、改进神经网络损失函数、减少梯度误差等技术来解决二值化不可避免的严重信息损失和优化难题；同时对硬件友好设计和训练技巧等实用方面也进行了讨论，最后对图像分类、目标检测和语义分割等不同任务进行了评估和讨论，并展望了未来研究中可能面临的挑战。

    Mar, 2020

  • 精确二值形态神经网络的基础

    通过数学形态学（MM）实现全结合卷积神经网络（ConvNets）的二值化，并提出两种新的近似方法以及鲁棒的理论框架来改进其优化。同时，引入正则化损失以提高网络的性能。

    Jan, 2024

  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

    Dec, 2018

  • 少乘法的神经网络

    研究二值化训练和量化方法在神经网络训练中的应用，通过在 MNIST、CIFAR10、SVHN 三个数据集上的实验证明，这种方法不仅不会降低分类性能，反而可以实现比标准随机梯度下降训练更好的性能

    Oct, 2015

  • 利用不平衡激活分布提高二值神经网络的准确性

    本文提出二值化神经网络模型的精度问题，并指出通过不平衡激活分布以及调整二值激活函数的阈值，可以在不改变其他结构的情况下提高二值神经网络模型的精度。

    Dec, 2020

  • 二值化低光原始视频增强

    最近，深度神经网络在低光原始视频增强方面取得了出色的性能。然而，它们通常具有高计算复杂性和大内存成本，限制了在资源有限设备上的应用。本文探讨了将极其紧凑的二值神经网络（BNN）应用于低光原始视频增强的可行性，并解决了融合时间信息和二值卷积之间的性能差距问题。经过广泛的定量和定性实验，我们的高效二值化低光原始视频增强方法取得了令人满意的性能。

    Mar, 2024