Jan, 2024

使用二进制神经网络实现设备上的持续学习

PDF
TL;DR提出了一种将连续学习和二进制神经网络结合起来的解决方案，同时在设备上进行训练并保持竞争性的性能，该方法利用二进制潜在重播激活和一种新的量化方案，显著减少了梯度计算所需的位数，实验证实了模型的准确性和对内存需求的明显减少，从而扩展了深度学习在实际场景中的应用。
on-device learningresource-constrained devicesmemory-intensive back-propagation algorithmbinary neural networkscontinual learning
发现论文，激发创造
  • 基于二进制神经网络的设备上学习

    现有的连续学习解决方案只在将深度学习模型部署在低功率嵌入式 CPU 上时部分地解决了功耗、内存和计算的限制。本文提出了一种连续学习解决方案，它结合了连续学习领域的最新进展和二值神经网络（BNN）的高效性，该网络使用 1 位用于权重和激活以高效执行深度学习模型。我们提出了一种混合量化的 CWR*（一种有效的连续学习方法），它在前向和反向传播时考虑了不同的因素，以保留在梯度更新步骤和最小化延迟开销时的更高精度。选择二值网络作为基础是满足低功率设备限制的关键，据作者所知，这是首次尝试证明使用 BNN 进行设备上学习的方法。进行的实验验证了所提方法的有效性和适用性。

    Aug, 2023

  • 一个用于设备上连续学习的 TinyML 平台，具备量化的潜在回放功能

    本文提出了基于 PULP 处理器的深度学习端到端持续学习硬件 / 软件平台，利用量化和潜在重播来优化内存成本，以实现采用小型设备的实践多样性更新。

    Oct, 2021

  • 二值神经网络的综合评述

    本文全面评述了二值神经网络（BNN）的发展历程，从祖先算法到最新算法 / 技术，提出了一种广泛的设计流程，并讨论了每个模块的变体。此外，还介绍了 BNN 的应用，以及其潜在的发展方向和未来研究机会。

    Oct, 2021

  • 从头开始训练竞争二进制神经网络

    研究二进制神经网络的训练策略和在移动和嵌入式设备上应用的性能，通过采用一种更简单的训练策略，成功提高了二进制神经网络的性能并在标准数据集上取得了最新成果，还成功将具有密集连接的网络架构引入二进制网络领域。

    Dec, 2018

  • 嵌入式设备的在线持续学习

    本文研究了使用移动神经网络进行实时嵌入式设备上的在线连续学习的效果，通过测量它们的性能、内存使用、计算要求和对域外输入的泛化能力，验证了实时在设备上执行学习的有效性。

    Mar, 2022

  • 实时连续学习的潜在回放

    本文提出了一种称为 “隐式回放” 的技术，该技术可以在边缘计算和嵌入式设备上有效地训练复杂的神经网络模型，并利用连续学习技术实现了较高的自适应性和自主性。我们的实验表明，结合现有的连续学习技术，隐式回放在复杂视频基准测试方面取得了最先进的性能，并且在智能手机上部署该技术可以实现几乎实时的连续学习。

    Dec, 2019

  • 使用训练二值化的准确紧凑卷积神经网络

    本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

    Sep, 2019

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

    Jun, 2019

  • 多层电阻变换器实现的突触元可塑性

    本研究提出了一种基于 memristor 的硬件架构，实现了 QNNs 的元可塑性，并验证了其在 MNIST 和 Fashion-MNIST 上的有效性和鲁棒性。

    Jun, 2023

  • 正则化二进制网络训练

    本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

    Dec, 2018