jacobian | BriefGPT - AI 论文速递

关键词jacobian

搜索结果 - 11

独立机制分析与多样性假设
Independent Mechanism Analysis (IMA) can address non-identifiability issues in nonlinear independent component analysis
PDF7 months ago
关于雅可比正则化训练神经网络的无限宽度分析
该研究采用无穷宽度分析，证明了深度神经网络及其雅可比矩阵初始条件下，当隐藏层宽度趋近无穷时，它们共同收敛于高斯过程，并通过一种线性一阶常微分方程描述了在所谓鲁棒训练下的多层感知机演化，该方程由一种神经切向核的变体决定。实验证明了理论断言与宽
PDF7 months ago
稳定的边缘回响状态网络
提出了一种新的 Reservoir Computing（RC）架构，称为 Edge of Stability Echo State Network（ES2N）。该 ES2N 模型基于将储层层定义为非线性储层（如标准 ESN）和实现正交变换的
PDFa year ago
加权图拉索隐式微分优化超参数调整
通过一阶方法解决双层优化问题，推导 Graphical Lasso 解对其正则化超参数的 Jacobi 矩阵，为 Graphical Lasso 的超参数调整提供了框架和算法。
PDFa year ago
ICLR半反向梯度用于物理深度学习
本研究分析了物理和神经网络的优化特征，并结合了经典网络和物理优化器的原则，基于 Jacobian 的半反演提出一种新方法，比目前最先进的神经网络优化器更快地收敛并产生更好的解决方案，此方法在非线性振荡器，Schroedinger 方程和泊松
PDF2 years ago
探究对比学习为何有益于提高对抗标签噪声的鲁棒性
通过自监督对比学习，深度神经网络通过学习具有卓越的鲁棒性的表示矩阵来避免噪声标签造成的过拟合，并进一步证明通过对比学习预训练的深度神经网络具有低秩结构，这种结构可以帮助深度神经网络更好地适应噪声标签。
PDF2 years ago
梯度不是唯一所需
讨论不同 iable 编程中的混沌失效原因及其产生的条件，包括神经网络、数值物理模拟及辅助优化算法训练等。
PDF3 years ago
MM长时依赖网络的时间反向传播
本文介绍一种称为离散前向灵敏度方程和其变体的反向传播方法，该方法准确而且允许网络参数在每个后续步骤之间变化，但需要计算 Jacobian 矩阵，以适应现今人工神经网络的长期依赖关系的发展趋势。
PDF3 years ago
通过 Lipschitz 增强评估深度神经网络的数据相关样本复杂度
通过考虑网络的额外数据相关属性，如隐藏层的范数和每层相对于之前所有层的雅可比矩阵的范数，我们获得了更紧的基于 Rademacher 复杂度的界限。在实践中，我们直接通过规范化网络的雅可比矩阵来改善测试性能。
PDF5 years ago
ECCV利用雅可比正则化提高 DNN 对对抗攻击的鲁棒性
该研究提出了一种基于 Frobenius 规范化 Jacobian 矩阵的网络后处理方法，以提高深度神经网络的鲁棒性，从而改善其对抗攻击的表现，同时对网络准确性的影响也很小。
PDF6 years ago
GAN 的数值计算
本研究通过分析生成对抗网络（GAN）的训练算法的数值特征，使用平滑二人博弈的形式，分析 GAN 训练目标的梯度向量场的相关性，发现当前算法的收敛性受到两个因素的影响：一是梯度向量场的雅可比矩阵存在具有零实部的特征值，二是存在具有较大虚部的特
PDF7 years ago