Jan, 2024

使用自适应梯度方法和定向进化优化离散参数

PDF
TL;DR优化离散参数存在约束问题，我们使用带有温度的随机 S 型函数，并提出了新的自适应梯度方法 CONGA。通过一个个体群体来搜索最优解，每个个体根据 ' 环境 ' 的梯度变化，并由具有不同退火进程的两个温度参数来描述。未经适应的个体消亡，而最优个体繁殖，其结果是定向的进化动力学。我们利用著名的背包完全装配（0-1 KP）问题来说明所提出的方法。
发现论文，激发创造
  • 通过梯度下降学习随机人口模型

    从数据中学习机制模型的方法的发展是一个持续的努力，本文通过探索基于模拟的优化方法，讨论了参数估计与结构推断的挑战。

    Apr, 2024

  • 动态有向图中的离散分布优化

    我们提出了一个分布式优化的离散时间模型，适用于具有动态有向图的连续时间分布式学习，并消除了对链接进行随机权重设计的需求，通过共识算法、矩阵扰动理论和 Lyapunov 理论，我们证明了梯度跟踪步长和离散时间步长的收敛性和动态稳定性，该工作在链接删除或数据丢失的情况下改善了现有随机权重无向网络的性能，而无需重新运行耗时和计算复杂的算法。该提出的优化框架在分布式分类和学习中具有应用价值。

    Nov, 2023

  • 通过热传导实现高效的组合优化

    使用热扩散来解决组合优化问题，在全球最优搜索中提供更高效的导航，展示了在组合优化方面的卓越性能以及在推进组合优化中的潜在作用。

    Mar, 2024

  • 人口下降：基于自然选择的超参数调优框架

    我们提出了 Population Descent，这是一个专注于超参数优化的模因算法。通过自适应的 m 优秀个体选择方法和基于标准化适应度的随机化方案，我们展示了这种算法在常见的基准任务上比复杂的现有算法提高了最多 13% 的性能。

    Oct, 2023

  • 深度神经网络优化的进化随机梯度下降

    该研究提出了一种基于人口的进化随机梯度下降（ESGD）框架来优化深度神经网络，该框架将 SGD 和基于梯度的进化算法作为互补算法，以提高种群的平均适应度。

    Oct, 2018

  • 最小最大问题的扩散随机优化

    通过引入和分析一种名为 Diffusion Stochastic Same-Sample Optimistic Gradient (DSS-OG) 的新形式，我们解决了传统随机版本需要较大批次的问题，并在更一般的非凸 Polyak-Lojasiewicz (PL) 风险函数设置下，证明了它的收敛性和对大批次问题的更紧的上限，并将所提出的方法的适用性扩展到分布式场景。为了实现 DSS-OG，我们可以通过一些额外的内存开销并行查询随机梯度的预言机，导致其复杂性与传统的方法相当。通过训练生成对抗网络的测试，我们展示了所提出算法的有效性。

    Jan, 2024

  • 实验装置的进化优化

    本文提出了一种基于差分进化的遗传算法来自动化实验参数优化的方法，该算法在实验噪声和局部最大值等情况下也具有鲁棒性，并且易于实现，适用于广泛的实验优化任务。

    May, 2013

  • 贝叶斯实验设计中基于梯度的随机优化方法

    本文从贝叶斯角度研究非线性系统的最优实验设计问题，提出了基于梯度的随机优化方法，并通过传感器放置问题的数值试验证明了该方法的性能。

    Dec, 2012

  • 扩散目标生成的协方差自适应顺序黑盒优化

    通过使用黑盒用户目标评分，我们提出一种基于扩散模型的目标引导生成方法，并采用协方差自适应的顺序优化算法来优化未知过渡动态下的累积黑盒评分，实验证明该方法在实现更好目标评分方面具有卓越的性能。

    Jun, 2024

  • 私有随机非凸优化：自适应算法和更紧的泛化界

    研究不同 ially private (DP) 算法在随机非凸优化中的应用，通过提供对私有梯度法的分析，提出了 DP RMSProp 和 DP Adam 等最佳算法来达成更快的收敛速度，在两个流行的深度学习任务中，证明了 DP 自适应梯度法比标准的 DP SGD 更具有优势。

    Jun, 2020