Mar, 2013

最简单的随机优化中拓扑平凡化与最小值的大偏差

PDF
TL;DR本文研究了约束最小二乘问题（trust region subproblem）和球形自旋玻璃（spherical spin glass）等问题。作者首先确定了对应于磁场线性项的两个大型 N 缩放体积（large-N scaling regimes）， 在第一个区域 N_{tot} 与 N 的数量级一致，成本函数（energy）具有通常有两个几乎简并的极小值的 Tracy-Widom 统计，而在第二个区域中，临界点的数量为一致数量，并且单一最小值的可能性是有限的。作者接下来讨论如何使用复制方法获得最小能量的概率密度。
发现论文，激发创造
  • 随机矩阵计算揭示景观复杂度的复制对称性破缺条件

    本文探讨了单个经典粒子在随机 $N$ 维高斯场中的统计力学和相关能量面的特性，使用随机矩阵方法计算稳定点和极小值点的密度，研究了曲率势和抛物线势的情况，并讨论了沿曲率变化程度对鞍点复杂度的影响。

    Feb, 2007

  • 高维随机场与随机矩阵理论

    本研究通过基于高维 Kac-Rice 公式的一般公式及其与随机矩阵理论技术的结合，分析了零温度单步复制对称破缺玻璃转变的能量景观的随机性，提取了高斯场的平均稳定点和极小值以及一个弧形限制中的稳定高斯随机场的数量，并详细阐述了在两个模型中，玻璃转变的零温度附近出现 “拓扑平凡化” 的现象，以及 GOE “边缘缩放” 谱区和 GOE 矩阵的最大特征值的 Tracy-Widom 分布对于提供 “拓扑平凡化” 场景的普适特征的精确量化描述的重要作用。

    Jul, 2013

  • 高维球上随机光滑函数的复杂度

    本文在探讨高维球面上的一般顺滑高斯函数，分析了它在大维度时的景观并给出了临界点的平均数量及欧拉特性的显式公式。研究表明，底部景观可能有分层结构或底层具有指数级别的局部极小值，并讨论了透过自旋玻璃模型的语言来解释这些结果的可能性。

    Oct, 2011

  • 流形上非凸优化的全局收敛率

    该研究考虑使用黎曼梯度下降和黎曼信任区域法在流形上最小化成本函数，并重点关注满足一定精度要求的必要最优性条件。结果表明，这些算法可提供全局收敛速率，适用于优化约束在紧致流形上的问题，未要求初始值。

    May, 2016

  • 高维度景观探索

    本文旨在证明高维度空间中定义的某些非凸函数有一个只包含其临界点大部分的数值狭窄区间的存在，并通过对 MNIST 数据集中的师生网络的实验观察得出了类似的结论，并发现梯度下降和随机梯度下降方法可以在相同步数内达到此水平。

    Dec, 2014

  • 信赖域问题的线性时间算法

    本文提出了一种在椭圆域上求解一般二次函数最大化问题的近似算法，时间复杂度为线性，能获得 ϵ- 近似解，与 Nesterov 的加速梯度下降算法和 Lanczos 方法的运行时相匹配。

    Jan, 2014

  • 通过几何调整的梯度下降在深度学习中实现全局 L2 最小化

    考虑在深度学习网络中广泛使用的用于最小化 L^2 损失函数的梯度下降流，我们介绍了两个修改版本；一个适用于过参数化设置，另一个适用于欠参数化设置。两者均具有清晰且自然的不变几何意义，考虑到过参数化设置中的拉回向量丛结构和欠参数化设置中的推前向量丛结构。在过参数化情况下，我们证明，只要满足一个秩条件，所有修改后的梯度下降轨道都以统一指数收敛速度将 L^2 成本驱动到其全局最小值。我们指出了后者与次黎曼几何的关系。

    Nov, 2023

  • 多层网络的损失曲面

    本文研究了全连接前馈神经网络的非凸损失函数与球形自旋玻璃模型哈密顿量之间的联系，并通过随机矩阵理论的结果来解释网络的复杂性和局部极小值的位置分布，利用计算机模拟和数学模型对结果进行了验证和验证。

    Nov, 2014

  • 球面上点的普遍最优分布

    研究了在单位球面上，通过一定的构造方法得到的具有球形设计的尖锐配置对于大部分势函数都是全局极小值，这些势函数包括 E8 和 Leech 格子的最小向量。

    Jul, 2006

  • 通过核函数逼近寻找全局最小值

    本文探讨了一种基于函数评估的平滑函数全局最小化方法，通过使用无穷次平方平滑函数之和联合建模函数以逼近并寻找全局最小值，在时间多项式子采样的情况下，该方法的计算复杂性为 $O (n^{3.5})$，空间复杂性为 $O (n^2)$，并可以实现与全局最优解的收敛速度为 $O (n^{-m/d + 1/2 + 3/d})$，尤其适用于具有大量导数的函数，且在维数为 $m$ 的情况下，全局最优解的收敛速度不会受到 “维度诅咒” 的影响，而仅受到最坏情况下的特定常数影响。

    Dec, 2020