Aug, 2023

分层反馈传播

PDF
TL;DR该研究介绍了一种名为层次反馈传播 (LFP) 的新型训练方法，利用可解释性、具体而言是层次相关传播 (LRP)，为神经网络预测器中的个别连接分配奖励，以其对解决给定任务的贡献为基础。与传统的梯度下降方法不同，LFP 在不需要梯度计算的情况下在模型中传播奖励信号。它增强了接收到积极反馈的结构，同时减少了接收到负反馈的结构的影响。理论上和经验证实了 LFP 的收敛性，并展示了在各种模型和数据集上与梯度下降方法相当的性能。值得注意的是，LFP 可以克服与基于梯度的方法相关的某些局限性，例如依赖有意义的导数。此外，我们还研究了如何将不同的 LRP 规则扩展到 LFP 中，它们对训练的影响以及潜在的应用，例如训练没有有意义的导数的模型，例如阶跃函数激活的脉冲神经网络 (SNN)，或用于转移学习，以高效利用现有知识。
layer-wise feedback propagationneural-network-like predictorsexplainabilitylayer-wise relevance propagationgradient descent
发现论文，激发创造
  • 利用 LRP 最佳实践解释神经网络决策

    本文研究探讨了解释型人工智能（XAI）中的一种常用方法 —— 层级相关性传递（LRP），发现新的应用方式能够更好地表征模型的推理，同时提高 LRP 的对象定位和类别区分性。

    Oct, 2019

  • 情感分析中解释循环神经网络预测

    本文提出了将 Layer-wise Relevance Propagation 扩展到递归神经网络的方法，并应用于五分类情感预测任务中的双向 LSTM 模型，其结果 qualitatively and quantitatively 均优于之前工作中使用的基于梯度的方法。

    Jun, 2017

  • 解释和解读 LSTMs

    本章节探究如何使 Layer-wise Relevance Propagation (LRP) 技术适用于序列数据建模和预测所使用的 LSTM 架构，需要更新传播方案并扩展基础理论框架以提供准确的解释。

    Sep, 2019

  • NLP 中非线性分类器预测解释

    本研究使用层内重要性传播技术（LRP）首次探究其在自然语言处理（NLP）中的应用，特别是用于解释卷积神经网络（CNN）在主题分类任务中的预测结果，并通过多项实验验证 LRP 方法解释 CNN 预测的适用性，实验结果于最近的图像分类研究结果相符。

    Jun, 2016

  • 可解释的深度神经网络用于单次试验的脑电波分类

    本研究探讨利用 DNNs 和 LRP 应用于 EEG 数据分析，发现 DNNs 在分类准确性上具有可比性，并且通过 LRP 的热图，可以提供神经活动高分辨率的评估，这是 DNN 在神经科学应用中被限制使用的可解释性不足的潜在解决方案。

    Apr, 2016

  • 通过对比反向传播理解 CNN 的个体决策

    本研究探讨了 DeConvNets、vanilla Gradient Visualization 和 Guided Backpropagation 等基于反向传播的方法，提出了一种基于 Layer-wise Relevance Propagation (LRP) 方法的 Contrastive Layer-wise Relevance Propagation (CLRP) 方法，能够产生实例特定、类别区分、像素级的解释，并定量地进行评估，证明 CLRP 比 LRP 生成更好的解释。

    Dec, 2018

  • 针对地球系统变异应用的 Echo State Networks 分层相关性传播

    本文介绍如何使用层次相关传播技术和回声状态网络模型来提高模型可解释性，并使用海温异常来预测厄尔尼诺南方涛动现象，可以应用于时序预测和图像分类。

    Oct, 2022

  • 层级相关性传播用于可解释的推荐

    本文探讨使用深度学习的模型进行推荐解释的问题，我们使用深度卷积神经网络从输入图像中提取相关特征，并在特征空间中识别图像之间的相似性，最后使用 Amazon 产品数据集验证了我们方法的有效性。

    Jul, 2018

  • 当解释欺骗我们：为什么很多改进版的 BP Attribution 失败了

    该研究分析了多种 BP 方法，提供了一种理论和实证的框架来评估新的和现有的 BP 方法的可信度，表明这些方法的解释与后续层的参数无关，测量了这些方法如何忽略后续层信息，发现 DeepLIFT 是唯一不受此限制的方法。

    Dec, 2019

  • 目标传播的理论框架

    本研究中，我们分析了一种叫做目标传播（TP）的替代反向传播（BP）的方法，从数学优化的角度进行了研究，并发现了它的基本限制。我们提出了一个创新性的重构损失来改善反馈权重训练，并通过允许直接反馈连接从输出到每个隐藏层来引入架构灵活性。实验结果表明，与差分目标传播（DTP）相比，性能得到了显著提高，并且前向权重更新与损失梯度的对准得到了改善。

    Jun, 2020