超越 NaN：在不可行性面前的优化层恢复能力

AAAIFeb, 2022

超越 NaN：在不可行性面前的优化层恢复能力

Beyond NaN: Resiliency of Optimization Layers in The Face of Infeasibility

Wai Tuck Wong, Sarah Kinsey, Ramesha Karunasena, Thanh Nguyen, Arunesh Sinha

TL;DR该研究分析了神经网络中嵌入 optimization layers 的弱点，提出了一种防御方法，防范了 undefined output 对关键应用造成的潜在威胁。

Abstract

Prior work has successfully incorporated optimization layers as the last layer in neural networks for various problems, thereby allowing joint learning and planning in one neural network forward pass. In this work, we identify a weakness in such a set-up where inputs to the

optimization layer neural networks rank deficiency condition number autonomous driving

发现论文，激发创造

训练不变量和低秩现象：超越线性网络

本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

Jan, 2022

神经网络的一阶对抗漏洞与输入维度

该研究旨在探究神经网络在面对针对性但难以察觉的图像扰动时的鲁棒性问题，发现鲁棒性问题与训练目标的输入梯度密切相关，不同网络拓扑的初始敏感度存在差异，输入维度增加时网络对扰动越加脆弱，且这一现象在正常或鲁棒训练后仍持续存在，但该问题可以通过增加规范化来得到缓解。

Feb, 2018

预测与优化的对比损失和解决方案缓存

本文提出了基于噪声对比法的伪损失函数方法和解决缓存方案的方法，以优化组合优化问题的预测和优化方法中的训练时间和准确性的平衡。实验证明，该方法在计算成本的一小部分之内即可与现有技术匹配。

Nov, 2020

深度学习的可证明限制

这篇论文证明了深度学习在低交叉可预测性函数分布上的失败，提出了算法约束和跨预测性的概念，并利用信息度量来限制统计间距离，探讨了神经网络、优化误差和算法分析的相关问题。

Dec, 2018

神经元失效

本文介绍了神经网络的鲁棒性、失败、Lipschitz - 连续性及其对精度的影响。通过量化神经网络中的失败数量，作者成功地给出了神经网络失效时正确计算结果所需的最大失败数和准确性的极限。作者还讨论了神经网络在鲁棒性和学习成本之间的权衡。

Jun, 2017

末隐藏层激活的非合理有效性对于对抗性稳健性的影响

研究了在输出层使用高温度值的激活函数对于防御基于梯度的对抗攻击的效果，并在 MNIST 数据集上实验验证了其方式可以显著提高对抗攻击的鲁棒性。

Feb, 2022

揭秘神经网络的对抗脆弱性之路

我们研究了深度神经网络在分类任务中的对抗性鲁棒性，通过矩阵理论解释了深度神经网络对分类的对抗性脆弱性，理论结果表明输入维度增加时，神经网络的对抗性鲁棒性会降低，并且其鲁棒性只能达到最佳鲁棒性的 1/√d。这一矩阵理论解释与以前的信息理论基于特征压缩的解释相一致。

Jun, 2024

神经网络优化中的不确定性和不稳定性

本文实验性地研究了神经网络优化的不确定性，证明了所有不确定性来源都对模型多样性具有类似的影响，这是因为模型训练的不稳定性是决定性的因素，并提出了两种减少波动性的方法。

Mar, 2021

定性描述神经网络优化问题

本文通过分析，发现现代的神经网络足以直接用随机梯度下降算法实现庞大的非线性优化任务，并且能够克服局部最优解的困难。

Dec, 2014

网络退化作为训练性能的指标：有限与无限角度预测的比较

通过研究神经网络的退化现象，我们使用一个简单的算法来预测对任何给定的完全连接的 ReLu 网络结构的网络退化程度，并演示如何预测退化程度与网络的训练动力学有关。

Jun, 2023