Aug, 2023

增强优化性能：高斯融合搜索与 Powell 方法的无导数优化中的新型混合算法

PDF
TL;DR通过将高斯压缩搜索（GCS）与不需求导的优化中的 Powell 方法进行混合，本研究提出了一种增强优化性能的新方法。通过实验发现，将 GCS 与某些传统的不需求导的优化方法相结合，不仅可以显著提升性能，同时保留了每种方法的优势，为优化复杂系统以及在各种应用中寻找最优解打开了新的可能性。
发现论文，激发创造
  • 一种新的无导数优化方法：高斯搜索

    优化方法及其应用，介绍了一种新的优化方法 —— 高斯压缩搜索（GCS），通过对高斯分布中粒子行为的仿真，GCS 旨在高效地探索解空间并收敛于全局最优解。通过实验评估及与其他优化方法的比较，突出了 GCS 的优势和特点，为对优化感兴趣的研究人员、实践者和学生提供了有价值的资源，深入了解高斯压缩搜索作为一种新的有前景的方法的发展和潜力。

    Jul, 2023

  • 具有全局复杂度分析的实用不精确近端拟牛顿方法

    提出了一种稀疏优化的通用框架，使用了二阶信息和有限的 BFGS Hessian 逼近，通过坐标下降的方法解决问题，并对其全局收敛率进行了新颖的分析。

    Nov, 2013

  • 通过方差减少方法的随机零阶优化

    本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。

    May, 2018

  • 统一随机梯度下降和拟牛顿法的快速大规模优化

    该研究提出了一种算法，它结合了随机梯度下降的计算效率和拟牛顿法利用的二阶曲率信息，通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同的方法的统一。该算法适用于高维度优化问题，通过将这些二次近似值存储和操作在一个共享的、时变的、低维度子空间中，保持了计算可行性和限制了内存需求，且需要很少或不需要调整超参数。该算法与早期的随机二阶技术相反，早期技术将每个贡献函数的 Hessian 视为完整 Hessian 的噪声近似，而不是直接估计的目标。在七个不同的优化问题上进行了实验性的改进收敛表现，算法已发布为开源 Python 和 MATLAB 软件包。

    Nov, 2013

  • 利用梯度和海森矩阵在贝叶斯优化和贝叶斯积分中的应用

    本文探讨了机器学习中一种使用高斯过程对困难或昂贵评价的未知函数进行优化和集成的贝叶斯方法，并将其扩展以利用来自未知函数的导数信息，通过采样推断来融合超参数的不确定性，并且介绍了克服之前梯度增强高斯过程的 singularity 问题的技术。结果表明，利用导数信息可以在贝叶斯优化和数值积分问题中提供显着的优化性能。

    Mar, 2017

  • 带噪声的改进高斯 - 牛顿算法

    本文研究了在大规模统计学环境中用于机器学习和信号处理的 Gauss-Newton 方法及其随机版本，以及它们的非光滑对应物 prox-linear 算法。该文在一个简化的统计学例子和结构化预测学习问题上，对这两类算法的对比表现进行了理论和实验研究，着重研究了在统计噪声下 modified Gauss-Newton 方法二次收敛的适用范围，并强调了随机梯度下降优化非光滑复合目标函数的多用途性。

    May, 2023

  • 第三方电子商务集成中优化椭圆曲线密码参数的人工智能算法比较：一项量子前时代分析

    本文比较了遗传算法（GA）和粒子群优化（PSO）两种重要的人工智能算法，重点优化了椭圆曲线密码学（ECC）参数。研究结果揭示了在相同适应度函数下，哪种生物启发式算法能够提供更好的 ECC 配置优化结果，并考察了通过评估奇异或异常曲线、应用 Pollard 的 rho 攻击和 Hasse 定理来确保健壮的 ECC 参数的方法。通过在模拟电子商务环境中测试 GA 和 PSO 生成的优化参数，在使用椭圆曲线 Diffie Hellman（ECDH）和基于哈希的消息认证码（HMAC）传输订单消息时，与 secp256k1 等知名曲线进行对比。本研究专注于传统计算领域，强调 GA 和 PSO 在 ECC 优化中的有效性，并对第三方电子商务集成中的加密安全性产生影响。我们建议在量子计算广泛应用之前即刻考虑这些研究结果。

    Oct, 2023

  • 基于拟牛顿方法的无导数优化噪声函数

    本文介绍了一种有限差分拟牛顿法，该方法利用 BFGS 更新的可伸缩性和能力，采用自适应程序选择基于 Hamming（2012）和 Moré 和 Wild（2011）的噪声估计技术的差分间隔 h。该算法包含恢复机制，以防止线性搜索过程无法产生可接受点的情况。通过数值实验将该方法与函数插值信任域方法进行了比较，同时还提出了一种考虑噪声线性搜索过程效应的新型收敛分析。

    Mar, 2018

  • 噪声无导数优化的动态各向异性平滑

    提出了一种创新算法，通过考虑目标函数的异质曲率，将球面平滑和高斯平滑方法扩展到噪声无导数优化中，动态调整平滑核的形状以逼近局部最优点周围的海森矩阵，从而通过采样大大减小了噪声评估中梯度估计的误差。通过对人工问题的数值实验展示了该方法的有效性，并展示了与现有的最先进启发式无导数和贝叶斯优化方法相比，在调整 NP - 难组合优化求解器时的改进性能。

    May, 2024

  • 具有本地简单线性二次速度的随机牛顿和立方牛顿方法

    我们提出了两种非常简单的随机二阶方法，用于最小化大量充分光滑和强凸函数的平均值。第一种是牛顿方法的随机变体（SN），第二种是具有立方正则化的牛顿方法的随机变体（SCN）。与现有的随机二阶方法不同，我们的方法没有这种缺点，例如，我们的方法的最简单的变体每次迭代只需要计算一个随机选择函数的梯度和海森矩阵。与大多数现有的随机牛顿和拟牛顿方法相比，人们的方法保证了比一阶 oracle 更快的本地收敛，同时适应了问题的曲率。有趣的是，我们的方法不是无偏的，因此我们的理论为设计新的随机方法提供了新的直觉。

    Dec, 2019