karush-kuhn-tucker | BriefGPT

关键词karush-kuhn-tucker

搜索结果 - 6

深度均质神经网络的早期方向收敛及小初始化
该论文研究了使用小的初始值训练深层均匀神经网络时产生的梯度流动力学。该研究表明，在训练的早期阶段，神经网络的权重保持较小的范数，并且在神经关联函数的 Karush-Kuhn-Tucker (KKT) 点附近大致收敛于相同方向。此外，在平方损
PDF4 months ago
两次齐次神经网络中初始参数微小趋向与马鞍点的方向收敛
本文研究了初始接近原点的两均勻神經網絡的梯度流動力學，對於方塊和邏輯損失，會有足夠長的時間在原點的附近，使神經網絡的權重大約收斂於量化神經網絡輸出和相應標籤在訓練數據集上相關性的 Karush-Kuhn-Tucker（KKT）點；方塊損失下
PDF5 months ago
ICML非凸函数约束优化的单循环梯度下降和扰动上升算法
本文提出了一种新的梯度下降和扰动上升（GDPA）算法，用于解决一类平滑的非凸不等式约束问题，该算法是首个能够解决非凸平滑问题和非凸不等式约束的单循环算法之一，并具有较好的收敛性能和求解效果。
PDF2 years ago
梯度下降的复杂性：CLS = PPAD ∩ PLS
该论文研究了在有界凸多面体域上通过梯度下降解决的搜索问题，并表明该类等于两个众所周知的类的交集：PPAD 和 PLS。同时证明了在区间 [0,1] x [0,1] 上计算连续可微函数的 Karush-Kuhn-Tucker（KKT）点是 P
PDF4 years ago
无惧 DAG：深入研究连续优化用于学习贝叶斯网络
研究学习贝叶斯网络的连续优化框架 NOTEARS，推导该优化问题的 KKT 条件，提出一种基于 KKT 条件的局部搜索后处理算法并在测试中得到了结构汉明距离的显著和普遍提高。
PDF4 years ago
在成本函数不确定情况下从局部最优演示中学习约束
本文提出一种从局部最优演示中学习参数约束的算法，并使用混合整数线性规划 (MILP) 中的 Karush-Kuhn-Tucker (KKT) 最优条件来学习与演示本地最优性一致的约束条件，提供了恢复安全 / 不安全集合的保守性理论保证，分析
PDF4 years ago