- 有限和平凡导数光滑优化的复杂性研究
本文研究了一种优化问题,在多项式朗托泽维奇条件下,通过梯度方法在分布式环境中找到次优解,提出了一个去中心化一阶方法,并给出了相应的下界。
- 对称团队学习中,局部最优解是全局 Nash 均衡
对于对称策略空间中的本地最优对称策略,该研究证明任何局部最优对称策略都是(全局)纳什均衡,这个结果适用于机器学习,并为找到对称策略空间中的局部最优的梯度方法提供全局性保证,最后,总结了研究结果在多智能体 RL,合作逆 RL 和分散式 POM - ICLR通过神经切向核函数分析集成树结构
本文研究了软树决策树的神经切向核(NTK)并发现只有每个深度的叶子节点数是固定的,就算不同的树架构也可以在功能空间中拥有相同的训练行为和泛化性能,同时对称和不对称树的 NTK 表现出不同的性质。
- ICLR无限树集合的神经切向核视角
本文介绍和研究了无限软树集成中的树神经切线核(Tree Neural Tangent Kernel, TNTK),证明了全局收敛以及树结构的等价性,通过调整树的深度诱使 TNTK 降为退化核。
- 梯度基方法在全谱游戏中的紧密一致分析
通过分析梯度方法在达到纳什均衡时的线性收敛特性,证明了变异梯度方法在双线性博弈和强单调性博弈中的各种表现,并发现了这些方法在极端情况下收敛机制的差异。同时证明了变异梯度可以在任意外推次数的情况下实现优化率,一个广泛算法类别的最佳值
- MM半定规划性能估计中不精确梯度和牛顿方法最差情形收敛分析
本文提供了用于计算强凸光滑函数的梯度(或 Cauchy 梯度下降)方法和自准共轭函数的 Newton 方法(包括不准确搜索方向的情况)的最坏情况性能分析的新工具,并通过半定规程性能评估分析扩展了最近 2017 年 Optimization - 凸优化中优化梯度方法的自适应重启
本文以自适应重启策略为基础,探讨了启发式的优化梯度方法加速收敛的方法,并且证明了自适应重启可以加速优化梯度方法的收敛速度,特别是在非光滑组合凸函数的情况下。
- 一种用于自字典非负稀疏回归的快速梯度方法
本文采用非负稀疏回归与自词典相结合的方法,提出了一个平滑的优化问题,其中通过线性约束实现稀疏性,并且计算了多面体上的欧几里得投影,然后提出了一种快速梯度方法来解决该问题,并在合成数据集和实际高光谱图像上将其与几种最先进的方法进行了比较。
- AAAI大规模零和博弈均衡计算的统一视角
本文研究如何在大型零和博弈中计算近似纳什均衡,提出两种方法:无悔在线学习和基于凸凹点公式的梯度方法,并尝试将两种方法进行整合。
- 稀疏主成分分析的广义幂法
本文提出了一种新的稀疏主成分分析 (Sparse PCA) 方法,通过优化一个包含在紧致集合上的凸函数的最大化问题,使用一个简单的梯度方法,能够在数据矩阵具有比行更多的列 (变量) 时大幅度减少搜索空间的维度,并在随机和基因表达测试问题上展