本文研究了二进制和连续的负边缘感知器作为学习随机规则和关联的简单非凸神经网络模型，并探讨了两种模型解决方案的几何学特征。结果发现，即使在高度非约束的情况下，存在大量的极宽、极平的最小值，这有助于提高学习器的泛化性能。

Apr, 2023

论文概述了统计力学方法在神经网络中的应用，重点讨论了感知器结构、训练误差配置和解空间的平均形状等主题。

Sep, 2023

神经网络景观中的连接模式包括线性路径和中心连接，提供了从一个极小值到另一个极小值的连接途径，同时突显景观在超参数化情况下可能具有凸性。

Apr, 2024

本文研究深度神经网络优化问题中的高维非凸性质，通过对数据分布和模型进行分析得出深度线性网络与半修正网络拓扑结构差异明显、非线性问题基于数据分布平滑程度和模型过度参数化的相互影响，通过证明半修正单层网络的渐进连通性，以及通过分析水平面的几何特征来研究梯度下降的调节。实验结果显示，虽然吸引子很小，但这些水平面在所有的学习阶段都保持连通。

Nov, 2016

研究发现，神经网络的能量场通常是平坦的，在极小值点之间存在足够的容量进行结构性变化，且每个极小值点至少有一个消失的 Hessian 特征值。

Mar, 2018

研究了在单位球面上，通过一定的构造方法得到的具有球形设计的尖锐配置对于大部分势函数都是全局极小值，这些势函数包括 E8 和 Leech 格子的最小向量。

Jul, 2006

该论文介绍了一种数学分析方法，针对鲁棒子空间恢复的非凸能量景观，证明了一个基于数据集固定条件的子空间是惟一的稳定点和一个特定范围内的局部极小值。研究还表明，如果该确定的条件满足，一种沿着 Grassmann 流形的测地线梯度下降方法可以在适当初始化的情况下完全恢复基础子空间。此外，当在一些数据模型上验证了它的实用性后，该方法可以在不同的样本大小和环境维度的不同情况下实现几乎最先进的恢复保证。

Jun, 2017

本文研究了浅层线性神经网络的平方误差损失景观。研究表明，对于相应的优化问题，其具有良好的几何性质，没有虚假局部极值，每个鞍点的 Hessian 矩阵至少有一个负特征值。这意味着在每个鞍点处，都有一个负的曲率方向可以用来优化目标函数值，因此很多局部搜索算法，如梯度下降，可以证明具有全局收敛性。

May, 2018

该研究提出了一种新的算法 ——Starlight 算法，该算法可以找到给定学习任务的星型模型，并验证星型模型与其他独立找到的解之间的线性连接。此外，研究表明星型模型可以提供更好的贝叶斯模型平均的不确定性估计。

Mar, 2024

本文通过实验和理论研究了神经网络的波动，发现高维神经网络的损失函数曲面具有多方向高正曲率、梯度下降具有狭窄、随机位于此曲面中不同位置处的超平面理论能够解释背后的机理。

Oct, 2019