机器学习的非凸优化
本文讲述了解释性学习系统是机器学习的一个新趋势,但由于现实数据是由非线性模型生成的,在研究非凸优化问题时,提供可解释性算法是具有挑战性的,本文研究了两个非凸问题:低秩矩阵补全和神经网络学习。
Jun, 2023
通过使用凸优化理论和稀疏恢复模型来改进神经网络的训练过程,并对其最优权重提供更好的解释,我们的研究侧重于以分段线性激活函数构建的两层神经网络的训练,证明了这些网络可以表达为一个有限维的凸规划问题,其中包括促使稀疏性的正则化项,构成 Lasso 的变种。通过大量的数值实验,我们展示了凸模型可以胜过传统非凸方法,并且对于优化器的超参数并不敏感。
Dec, 2023
本文从统计模型的角度出发,系统地讨论低秩矩阵分解非凸优化的可靠解法,总结出了两种方法:1. 根据问题特征设计初始值,进行迭代求解;2. 利用全局凸性分析,无需初始值,直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。
Sep, 2018
通过提出一种新的结构化非凸 - 非凹 min-max 优化问题类,引入了一个泛化的外推方法,该方法证明收敛到一个稳定点。这种算法不仅适用于欧几里得空间,还适用于一般的 l p-norm 有限维实向量空间,同时对其在随机 oracle 条件下的稳定性和样本复杂度提供了边界。
Oct, 2020
本文研究了一类非凸的最小值最大值问题,其中目标函数在最小化变量上是弱凸的,在最大化变量上是凸的。针对不同的光滑和不光滑的实例,我们提出了近端引导随机次梯度方法和近端引导随机方差减少方法。同时,我们分析了所提出方法在找到最小值和最大值对应的几乎稳定点的时间复杂性。
Oct, 2018
本论文研究了通过机器学习解决 NP 困难问题的可行性,指出了训练数据的易变性及其对模型的影响,并提出了改进的方法来适应这个问题。该方法被应用于非线性、非凸、离散组合问题的求解,取得了有效的结果。
Jun, 2021
本文探讨了研究数据驱动最优化问题时遇到的非凸问题,这些问题可以通过对称性的角度来理解它们表现出的几何结构及其与目标函数构建的相关性,并讨论了未来研究的方向。
Jul, 2020