Mar, 2023

最优输入增益：超级高效前馈神经网络所需的一切

PDF
TL;DR经实验证明，在等效的前馈网络中，使用线性变换预处理输入等同于在每个训练迭代中将负梯度矩阵与自相关矩阵相乘，本文提出了一种通过求解自相关矩阵来最大化学习的二阶方法，并使用最优输入增益（OIG）方法来改进两个一阶两阶段的训练算法，通过对 BP 和 HWO 方法的改进可以更好地应用于复杂的深度学习架构中。
feed-forward networkslinear transformationautocorrelation matrixinput gainsdeep learning architectures
发现论文，激发创造
  • IG2：特征归因的迭代梯度路径上的综合梯度

    特征归因方法 IG2 整合了梯度的正常输出和反事实输出，提高了特征归因的准确性，并证明在多个领域取得了优于现有技术的结果。

    Jun, 2024

  • 训练两层物理引导神经网络的隐式梯度下降收敛性

    本文提供了用于训练过参数化的两层物理信息神经网络的隐性梯度下降法的收敛性分析，证明了常见的平滑激活函数（如 sigmoid 函数、softplus 函数、tanh 函数等）的 Gram 矩阵是正定的。通过过参数化，随机初始化的隐性梯度下降法以线性收敛速率收敛于全局最优解，并且由于不同的训练动态，可以独立于样本大小和 Gram 矩阵的最小特征值选择学习率。

    Jul, 2024

  • 训练 DNNs 中的可控正交化

    本文提出了一种使用牛顿迭代法的正交化方法 (ONI)，它可以通过进行迭代来控制权重矩阵的正交性，同时保持模型的表征能力，从而有效地提高图像分类网络和生成对抗网络 (GANs) 的性能。

    Apr, 2020

  • 逆狄利克雷加权使物理信息神经网络训练可靠

    本文研究并解决了深度神经网络（如物理信息神经网络）训练过程中可能出现的多尺度动态和尺度失衡引发的故障模式，通过提出一种简单而有效的逆狄利克雷加权策略来缓解问题，并在各种应用中进行了验证和比较。

    Jul, 2021

  • 低延迟可解释 AI 中的非均匀插值

    本研究提出了一种新的算法优化方法，通过硬件感知将 Integrated Gradients 算法加速，使其在保证收敛的同时，显著减少总插值步骤并提高了性能，同时我们在 ImageNet 数据集上进行的实验进一步验证了该算法的有效性。

    Feb, 2023

  • 通过动态等向性在深度学习中复苏 Sigmoid 函数：理论与实践

    本文采用自由概率理论的强大工具来分析深度神经网络的输入输出雅可比矩阵的奇异值分布，研究了深度、权重初始化和非线性性之间的关系，发现深度为 ReLU 网络不能实现动态等距，而深度为 Sigmodial 网络只能通过正交权重初始化来实现等距，且正常初始化的深度 Sigmodial 网络学习效率远优于 ReLU 网络。

    Nov, 2017

  • 集成决策梯度：在模型做出决策的地方计算您的属性

    本研究提出了一种新的归因算法 (IDG) 用于神经网络模型的解释，该算法实现了通过将梯度积分到模型决策区域来解决饱和问题，该算法在 ImageNet 上进行的评估表明 IDG 在三个常见模型中以标准插入和删除度量标准在质量和量化上都优于 IG、left-IG、guided IG 和敌对梯度积分。

    May, 2023

  • 对超参数区间中神经网络的影响函数的重新思考

    本文利用神经切线核理论计算对于带拉格朗日正则化均方损失训练的神经网络的影响函数。通过理论分析，证明了在 ReLU 网络的两个层的宽度足够大时，误差可以任意小。此外，案例分析了 IHVP 方法在过度参数化区域的误差限制及其相关性。实验结果验证了理论分析的正确性。

    Dec, 2021

  • 贪婪猪：自适应积分梯度

    基于特征选择的统一离散优化框架引入了自适应性，提出了一种自适应的 Greedy PIG 方法以增强特征归因方法的能力。

    Nov, 2023

  • 综合梯度相关性：一种数据集层面的归因方法

    本文介绍了一种名为集成梯度相关性（IGC）的新方法，它将数据集属性与模型预测得分相关联，并通过与相关组件的直接求和实现区域特定分析。在脑部 fMRI 神经信号的图像特征表示以及神经人口感受野（NSD 数据集）的估计以及手写数字识别（MNIST 数据集）的研究中，我们演示了我们的方法。得出的 IGC 属性显示出选择性模式，揭示了与各自目标一致的潜在模型策略。

    Apr, 2024