Jan, 2024

回溯新Q-Newton方法, 牛顿流, 法里奥尼图与随机根查找

HTML
PDF
TL;DR探索并连接了Backtracking New Q-Newton's method（BNQN）与Newton的流动和Voronoi图的关系，并解释了其对多项式和亚纹函数的根的吸引盆地的显著现象。
发现论文，激发创造
  • 拟牛顿法：一个新方向

    该研究论文提出了新的概念，即将许多拟牛顿方法解释为贝叶斯线性回归的近似，为传统算法的某些缺点提供了解释，并展现了一种新的非参数拟牛顿方法，它能够以类似于以前版本的计算成本来更有效地利用可用的信息。

    Jun, 2012

  • 解决随机二次方程组问题几乎与解决线性方程组问题一样容易

    本研究提出对于具有n个变量的二次方程系统，通过谱方法计算初始猜测值，然后最小化非凸泛函作为Wirtinger流方法的关键区别在于不同的目标函数和新颖的更新规则，对该算法进行了理论证明并给出了数值实验结果。

    May, 2015

  • 用于解决二次方程组的重塑Wirtinger Flow和增量算法

    本文旨在研究相位恢复问题，提出了基于非凸平滑损失函数的RWF算法，通过与现有的非凸Wirtinger流和截断Wirtinger流算法进行比较，展示了RWF算法的优越性，并发展了增量式RWF算法，进一步证明了IRWF算法的性能保证和优越性。

    May, 2016

  • IQN：一种具有局部超线性收敛速率的增量拟牛顿方法

    本文提出一种增量式拟牛顿方法来最小化一个可用n个平滑和强凸函数表示的目标函数，该方法是一种随机和增量方法，每次迭代的成本与n无关，其收敛特性介于确定性和随机拟牛顿方法之间，利用聚合信息和泰勒展开近似函数、周期性更新目标函数等特性实现了在最优解局部范围内的局部超线性收敛率。

    Feb, 2017

  • Newton-Sketch和子采样Newton方法的研究

    本文研究了在解决变量数量和数据点数量都很大的有限和最优化问题的 Newton 法的背景下，两种数据空间维数缩减方法：Hessian 子采样和随机 Hadamard 变换。通过一系列数字实验和 Hessian 子采样方法的复杂性分析，揭示了使用共轭梯度方法相对于随机梯度迭代方法的优势。

    May, 2017

  • 具有本地简单线性二次速度的随机牛顿和立方牛顿方法

    我们提出了两种非常简单的随机二阶方法，用于最小化大量充分光滑和强凸函数的平均值。第一种是牛顿方法的随机变体（SN），第二种是具有立方正则化的牛顿方法的随机变体（SCN）。与现有的随机二阶方法不同，我们的方法没有这种缺点，例如，我们的方法的最简单的变体每次迭代只需要计算一个随机选择函数的梯度和海森矩阵。与大多数现有的随机牛顿和拟牛顿方法相比，人们的方法保证了比一阶 oracle 更快的本地收敛，同时适应了问题的曲率。有趣的是，我们的方法不是无偏的，因此我们的理论为设计新的随机方法提供了新的直觉。

    Dec, 2019

  • 寻找非光滑非凸函数的驻点的复杂度

    本文介绍了一种针对非光滑、非凸函数的最新方法，通过概率论的方法实现了解决ReLU神经网络参数调整中的复杂问题的方法，其中提出的梯度算法能够使结果的准确度近似于一阶算法，并在距离解决方案的距离delta的范围内，得出广义梯度与解决方案的凸组合。

    Feb, 2020

  • 训练深度神经网络的实用拟牛顿方法

    本文提出了一种使用Kronecker乘积近似Hessian矩阵和结构化梯度的Kronecker分块对角线BFGS和L-BFGS方法用于深度神经网络训练，通过测试验证其性能优于或与KFAC和一阶随机方法相当。

    Jun, 2020

  • 使用多维回溯搜索最优单坐标步长

    本文提出了一种名为多维回溯的技术，用于在光滑凸问题中自动调整步长和寻找良好的对角预条件，不需要手动调整，并使用超梯度进行搜索。

    Jun, 2023

  • LyZNet: 轻量级 Python 工具用于学习和验证神经系统的 Lyapunov 函数和吸引域

    该论文描述了一种轻量级Python框架，提供了神经李雅普诺夫函数的综合学习和验证，用于稳定性分析；这个工具通过将Zubov的偏微分方程编码为PINN方法，能够在吸引域的附近提供验证的吸引域区域。

    Mar, 2024