CVPRFeb, 2021

S2-BNN: 通过引导分布校准 架起无监督真实数据与 1 比特神经网络之间的桥梁

PDF
TL;DR本文提出了一种从实值网络指导学习二值神经网络的方法，通过最小化损失和提高准确性，可以在没有标签的情况下，将简单的对比学习基线提高 5.5~15％，并且在大规模图像分类基准测试 ImageNet 和下游数据集上取得了显著的改进。
binary neural networksself-supervised learningguided learningcontrastive objectivedistill binary networks
发现论文，激发创造
  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • 基于对比学习的网络二值化

    本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

    Jul, 2022

  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

    Dec, 2018

  • 训练二值化深度神经网络时规范激活分布

    本文提出使用分布损失来规范激活流，成功改善了二值神经网络训练中遇到的退化、饱和和梯度失配等问题，并在不影响其能量效率的同时，提高了其准确性。此外，该规范化方法还能使训练过程更加稳健。

    Apr, 2019

  • 利用不平衡激活分布提高二值神经网络的准确性

    本文提出二值化神经网络模型的精度问题，并指出通过不平衡激活分布以及调整二值激活函数的阈值，可以在不改变其他结构的情况下提高二值神经网络模型的精度。

    Dec, 2020

  • AdaBin: 自适应二值集合优化二值神经网络

    本文提出了一种名为 AdaBin 的自适应二值化方法，它通过使用符号函数难以准确地将全精度值二值化的事实，使得我们获得了一组自适应的最优二进制集合，进一步提高了二值特征的表示能力。实验结果表明，AdaBin 在大量基准模型和数据集上达到了 state-of-the-art 的性能。

    Aug, 2022

  • 基于联合分类器学习的二值网络无监督表示学习

    本文提出一种二进制网络的自监督学习方法，使用移动目标网络和特征相似性损失、动态损失平衡和修改的多阶段训练来进一步提高准确度，称为 BURN。通过在七个数据集上进行五个下游任务的实证验证，我们发现 BURN 优于二进制网络的自监督对照组，有时胜过监督预训练。

    Oct, 2021

  • 使用实数到二进制卷积训练二值神经网络

    本文介绍了如何训练二值网络，并通过优化过程和实值卷积输出来最大限度地提高准确性，这对于图像分类任务非常有用。

    Mar, 2020

  • 将未标记的数据融入贝叶斯神经网络中

    使用对比学习框架，提出一种适用于未标记数据的贝叶斯神经网络（BNNs）的先验分布，得到自监督学习的标签效率和贝叶斯方法的规范不确定性估计，最后证明了该方法在半监督学习和低预算主动学习问题中的数据效率优势。

    Apr, 2023

  • BinaryDuo: 通过耦合二进制激活减少二进制激活网络中的梯度失配

    本研究探讨了二值神经网络（BNNs）性能下降的主要原因 -- 梯度不匹配问题，提出了基于平滑损失函数梯度的方法来更好地估计量化神经网络中梯度不匹配问题。通过实验发现，我们提出的 BinaryDuo 方法在参数量和计算成本相同的情况下，在各种基准测试中均优于现有 BNNs。

    Feb, 2020