May, 2023

使用似然比方法进行神经网络训练：深入探讨无需反向传播的技术

PDF
TL;DR本研究提出了一种新的梯度估计方法 —— 似然比方法，用于从事各种神经网络体系结构的训练，并且相对于反向传播法，该方法能够显著提高神经网络对抗性攻击的鲁棒性。
backpropagationlikelihood ratio methodneural networksadversarial attacksgradient estimation
发现论文，激发创造
  • 近似似然比：增强神经网络训练的正向唯一和并行框架

    通过利用自然的并行性和高性能训练策略，介绍了似然比方法在神经网络训练中的潜力及其逼近技术在梯度估计中的有效性。

    Mar, 2024

  • 当解释欺骗我们：为什么很多改进版的 BP Attribution 失败了

    该研究分析了多种 BP 方法，提供了一种理论和实证的框架来评估新的和现有的 BP 方法的可信度，表明这些方法的解释与后续层的参数无关，测量了这些方法如何忽略后续层信息，发现 DeepLIFT 是唯一不受此限制的方法。

    Dec, 2019

  • 学习解决信用分配问题

    本文提出了一种混合学习方法，即每个神经元使用强化学习策略来学习如何近似反向传播算法提供的梯度，并给出了对于特定类别的网络中，该方法收敛到真实梯度的证明。在前馈和卷积神经网络中，我们经验证明我们的方法学习如何逼近梯度，并且可以匹配或超越精确梯度学习的性能。学习反馈权重提供了一个生物学上可行的机制来实现良好的性能，无需精确的预先指定学习规则。

    Jun, 2019

  • 基于似然比的神经网络置信区间

    该论文介绍了一种利用似然比方法构建神经网络置信区间的初步实现，提出了 DeepLR 方法，该方法具有限定数据区域扩展的不对称区间以及考虑训练时间、网络结构和正则化技术等因素的优势。尽管当前实现方式在许多深度学习应用中代价过高，但在医学预测或天体物理学等领域，对单个预测的可靠不确定性估计已经具有明确的价值。这项工作突显了基于似然比的不确定性估计的潜力，并为未来的研究打下了良好基础。

    Aug, 2023

  • 利用 LRP 最佳实践解释神经网络决策

    本文研究探讨了解释型人工智能（XAI）中的一种常用方法 —— 层级相关性传递（LRP），发现新的应用方式能够更好地表征模型的推理，同时提高 LRP 的对象定位和类别区分性。

    Oct, 2019

  • 深度神经网络中的节点扰动有效学习

    Backpropagation (BP) is the dominant method for training deep neural networks, but node perturbation (NP) proposes learning through noise injection and measurement of induced loss change, yielding competitive performance when aligned with directional derivatives and combining with a decorrelating mechanism for layer-wise inputs.

    Oct, 2023

  • 训练神经网络进行似然 / 密度比估计

    本文介绍了一种基于神经网络和优化方法的似然比函数估计的方法，可用于工程和统计领域中的检测和假设检验问题。

    Nov, 2019

  • 一种提高神经网络准确性的新方法：恢复传统反向传播技术

    本研究提出了一种新的即时参数更新方法，通过消除每层计算梯度的需要来加速学习、避免梯度消失问题，并在基准数据集上优于最先进的方法，为高效有效的深度神经网络训练提供了一个有希望的方向。

    Aug, 2023

  • 基于层级竞争学习的生物启发式深度学习方法

    该研究提出了一种基于生物学启发的新的深度卷积神经网络学习方法，使用无监督的竞争学习来进行预训练可解决标记数据缺乏的问题，在 MNIST、CIFAR-10 和 ImageNet 数据集上获得了最先进的表现，其高层次的学习表示方法不需要反向传播错误信号来训练卷积层，可用于各种标记不足的数据。

    Jan, 2020

  • 生物启发深度学习算法和架构的可扩展性评估

    通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在面对 CIFAR 和 ImageNet 数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。

    Jul, 2018