Jun, 2020

利用梯度扩展符号方法用于神经模型解释

PDF
TL;DR本文提出结合梯度下降和符号技术的方法来解决神经网络中最相关的最小区域的问题，并使用基于综合梯度的梯度信息来提高其可扩展性，达到模型解释的目的。通过对 MNIST、ImageNet 和 Beer Reviews 这三个数据集的实验，证明了这种方法可以产生更加稀疏、可解释性更强的区域。
satisfiability modulo theoryneural networksgradient-based methodsmodel explanationsaliency map
发现论文，激发创造
  • SMOOT：基于显著性引导的掩模优化在线训练

    通过提出一种基于输入、准确性和模型损失的遮蔽图像数目的最佳确定方法，本文旨在解决遮蔽策略的问题，以提高模型的准确性和突出性，从而证明所提出的解决方案的有效性。

    Oct, 2023

  • 深度神经网络的安全验证

    本研究提出一种基于 Satisfiability Modulo Theory (SMT) 的新型自动化验证框架，旨在保证深度神经网络对于图像操作的安全性，能够发现对于给定操作范围和家族，对抗性样本是否存在，同时比较现有的相关技术。

    Oct, 2016

  • 使用符号区间对神经网络进行形式化安全分析

    利用区间算法和符号区间分析代替 SMT solver，可以更高效地实现对 DNN 的安全性质进行正式验证，ReluVal 系统相比现有最先进的 solver-based 系统 Reluplex，平均可以提升 200 倍验证效率。

    Apr, 2018

  • 用于模型可解释性的基于遮罩的显著性方法研究与简化

    本研究采用掩蔽技术生成显著性地图，发现训练分类器的同时，采用掩蔽技术生成显著性地图具有很高的性能，并且 10 个样本每类也可以显著提高显著性地图的精度。

    Oct, 2020

  • 基于神经引导动态符号网络的数学表达式探索

    我们提出了 DySymNet，这是一个新颖的神经引导的动态符号网络，用于符号回归。通过对各种结构进行优化，我们能够更好地识别与数据更匹配的表达式，在低维和高维问题中都能取得卓越的性能。

    Sep, 2023

  • 通过指导因式分解来可视化监督学习和自监督神经网络

    本文提出了一种结合梯度和属性方法的算法来提供逐类的可解释性，该算法在纠正显著特征的同时，通过反向投影来提供每像素的局部影响，并成功地证明了在各种基准测试上的优越性能，包括用于梯度方法评估的基准测试以及主要用于评估属性方法的基准测试，此外，本文还成功地证明了自监督方法可以学习语义信息。

    Dec, 2020

  • 可扩展神经符号回归

    本研究介绍了第一种使用大规模预训练的符号回归方法，通过生成一组不受限方程式并使用 Transformer 预测输入输出对应的符号方程，提高了方程式发现的效率和准确性。

    Jun, 2021

  • 基于显著性引导训练的深度学习解释性改进

    本文介绍了一种基于显著性引导培训的神经网络方法，可以有效降低噪声导致的特征归因不准确，并通过实验表明这种方法能够在保持预测性能的同时提高模型可解释性。

    Nov, 2021

  • SymbolNet: 自适应动态修剪的神经符号回归

    基于神经网络的符号回归方法中引入了动态修剪，用于同时优化训练损失和表达复杂度，通过稀疏正则化适应性地调整修剪类型的目标稀疏度，并在多个数据集上证明了其有效性。

    Jan, 2024

  • 几何引导式的整合梯度

    本文提出了一种基于深度神经网络模型参数空间局部几何性质的解释性方法 —— 几何引导的积分梯度法，在主观和量化评价方面表现优于传统的积分梯度法和总体梯度法，并提出了 “模型扰动” 的健全性检查，以补充传统的 “模型随机化” 测试。

    Jun, 2022