BriefGPT.xyz
Ask
alpha
关键词
saddle point
搜索结果 - 4
ICML
最大编码速率削减的全局几何分析
学习结构化和紧凑的深度表示的目标是最大编码速率降低（MCR^2），近来在完全可解释和高效的深度网络架构的推导中引起了越来越多的关注。本文对 MCR^2 问题的所有局部和全局最优解以及其他类型的临界点的性质进行了完全的刻画。通过理论分析和实验
→
PDF
a month ago
锐度感知最小化的稳定性分析
本文研究了锐度感知最小化的动态，发现其在鞍点处存在收敛不稳定性，并证明了鞍点可以在锐度感知最小化动态下成为吸引子。同时，研究发现锐度感知最小化的扩散比普通梯度下降要差。本研究验证了通过动量和批量大小等训练技巧可以缓解收敛不稳定性并实现高泛化
→
PDF
a year ago
利普希茨界和拉普拉斯平滑法可证明的鲁棒训练
本文提出了一个基于图的学习框架来训练在对抗扰动下具有稳健性的模型，并通过 Lipschitz 约束将对抗性稳健学习问题形式化为损失最小化问题，设计了一个稳健训练方案来收敛到拉格朗日函数的鞍点。 最终通过实验表明，在达到期望的标准表现的同时提
→
PDF
4 years ago
相位恢复的几何分析
本文研究了广义相位恢复问题，并证明了当测量向量为一组具有一般性质（即满足 i.i.d 复高斯分布）且测量数量充足时，自然的最小二乘优化方法能够找到目标信号的全局最小值，同时避免了漏解及假解。为了证实该算法的可行性，本文还提出并分析了一个二阶
→
PDF
8 years ago
Prev
Next