Aug, 2023

基于张量压缩的无反向传播训练 (物理信息) 神经网络

PDF
TL;DR该研究论文提出了一种完全不需要使用反向传播的训练框架，通过引入压缩张量方差缩减方法和混合梯度评估方法，以及利用稀疏网格方法估计损失函数中的导数，该方法在训练规模和效率方面存在多个技术贡献，同时在 MNIST 数据集上与标准一阶训练相比，仅略有损失准确性，并成功地应用于物理建模相关的神经网络训练，这种无需反向传播的高效低内存方法有望在资源受限的平台上进行即将到来的设备端训练应用。
backward propagationneural networkstrainingzeroth-order optimizationphysics-informed neural networks
发现论文，激发创造
  • 无需反向传播的深度物理神经网络训练

    实现了使用生物可行的学习算法训练深度物理神经网络的简单深度神经网络结构，以提高训练速度，减少数字计算和降低物理系统的能量消耗。

    Apr, 2023

  • 实时 FJ/MAC PDE 求解器通过张量化的非反向传播光学 PINN 训练

    光学计算在这篇论文中发挥了重要作用，提出了一个基于芯片的物理信息神经网络（PINNs）训练框架，用于高维偏微分方程的求解，具有相当低的能量消耗和超低的延迟。

    Dec, 2023

  • 解锁深度学习：神经网络并行分块训练的 BP-Free 方法

    通过引入一种新的无反向传播的方法，本研究提出了一个基于局部误差信号的块状神经网络，可以分别优化不同的子神经网络，并通过并行计算局部误差信号来加速权重更新过程，取得了比使用端到端反向传播和其他最先进的块状学习技术更好的性能，特别是在 CIFAR-10 和 Tiny-ImageNet 数据集上。

    Dec, 2023

  • 通过梯度过滤实现高效的设备端训练

    本文提出了一种新的梯度过滤方法，使用少量的独特元素创建特殊的结构来显著减少反向传播期间的计算复杂度和内存消耗，从而实现了设备端深度学习模型训练，显著提高了速度和节省了能源。

    Jan, 2023

  • 生物启发深度学习算法和架构的可扩展性评估

    通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在面对 CIFAR 和 ImageNet 数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。

    Jul, 2018

  • 训练物理思维神经网络的专家指南

    通过提出一系列最佳实践，改进物理信息神经网络（PINNs）的训练效率和整体准确性，还展示了不同架构选择和训练策略如何影响结果模型的测试准确性。

    Aug, 2023

  • 神经形态计算 deep learning 机器

    本篇论文介绍了一种名为 Event-Driven Random BP (eRBP) 规则的神经形态计算方法，可用于学习深度表示，其具有在神经形态硬件中实现的优势，并且与 GPU 上的人工神经网络模拟相比，分类准确性相近且在学习过程中鲁棒性较强。

    Dec, 2016

  • 反向传播算法的逐张量定点量化

    通过精度分配方法，实现神经网络中所有参数的最小化，从而实现固定点训练。针对 CIFAR-10，CIFAR-100 和 SVHN 数据集，对四个网络进行实验验证，证实此方法具有接近最优的精度分配，可以与其他固定点神经网络设计相比较。（The precision assignment methodology reduces the complexity of fixed-point training for neural networks, and its optimality is validated empirically for various datasets and network designs）

    Dec, 2018

  • 前向和后向传播稀疏化提高神经网络训练效率

    该研究提出了高效的稀疏训练方法，通过引入连续性问题，将优化过程分为权重更新和结构参数更新两个步骤，前者可利用稀疏结构实现，后者通过方差减少策略梯度估计器而获得全面稀疏训练，维度之间的联系局限在两个步骤中，展示了远远超过之前方法的训练加速效果。

    Nov, 2021

  • 量子神经网络的高阶导数与贫瘠高原现象

    本研究探讨了量子神经网络中的 Barren Plateau 现象，研究发现高阶导数信息无法解决 Barren Plateau 的指数级灭减问题，因此超越（一阶）梯度下降的优化策略仍会受到 Barren Plateau 的影响。同时，我们证明了新颖的通用公式，可用于在量子硬件上分析求解任何高阶偏导数，这些公式可能有独立的兴趣和用途，可用于量子神经网络的训练（除了 Barren Plateau 的情境）。

    Aug, 2020