Oct, 2023

基于标准化流的确定性 Langevin 无约束优化

PDF
TL;DR我们介绍了一种全球无梯度替代优化策略，用于昂贵的黑盒函数，其灵感来自于福克 - 普朗克和朗之万方程。该方法依赖于归一化流密度估计，以执行主动学习和选择评估的提案点。该策略与贝叶斯优化方法使用的收敛函数截然不同，并可适应一系列替代选择。我们在标准的合成测试函数、中等维度的非凸多模式后验以及科学和神经网络超参数优化等实际目标上展示了与最先进基线相竞争的优势或有竞争力的进展。
surrogate optimizationblack-box functionsdeterministic langevin optimizationnormalizing flow density estimateneural network hyperparameter optimization
发现论文，激发创造
  • 在潜空间中使用 Langevin 动态对正规化流采样

    本文提出了一种新的马尔可夫蒙特卡罗算法来应对标准归一化流在复杂分布上可能出现的病态问题，并将其与传统方法进行了比较，结果表明该方法不需要专门的训练，并且可以简单地与任何预先经过训练的 NF 网络结构一起使用。

    May, 2023

  • 使用随机插值构建归一化流

    本文提出一种基于连续时间正规化流的生成模型，该流的速度场由时间依赖密度的概率流推断而来，可用于样本生成和密度估计，并可最小化插值密度的路径长度来建立最优传输映射。该方法通过对基于随机微分方程的方法的简化，使生成的流可以以低成本超越传统方法，并可在图像生成等任务上达到较理想的性能。

    Sep, 2022

  • 随机正常化流

    提出了随机归一化流的概念，它是一种在机器学习和统计力学领域中解决概率分布采样问题的方法，具有较快的采样效率和较强的表示能力。

    Feb, 2020

  • 两种潜变流的故事：基于短程 Langevin 流的学习潜空间正规化流进行近似推断

    本研究提出一种基于 Markov chain Monte Carlo (MCMC) 的最大似然算法的潜空间归一化流模型，可实现图像生成、重构、异常检测、受监督的图像修补和无监督的图像修复。

    Jan, 2023

  • 在测度空间中的优化抽样：Langevin 动力学作为一个复合优化问题

    该研究以 Langevin 动力学为例，探究基于梯度流的优化过程中的采样问题，提出了一种降低偏差的新算法 SLA，并证明了在高斯目标测度下它具有一致性。

    Feb, 2018

  • 训练计算密集型目标概率分布的正则化流

    机器学习技术特别是所谓的标准化流在蒙特卡洛模拟中变得越来越受欢迎，因为它们可以有效地逼近目标概率分布。在格点场论中，目标分布由作用的指数给出。我们提出了一种基于 REINFORCE 算法的标准化流估计器，避免了相关的计算问题，应用于临界维度的二维 Schwinger 模型，并显示它相比重新参数化技巧估计器的墙钟时间更快，内存需求减少了 30％，数值上更稳定，并允许进行单精度计算和使用半浮点张量核心。我们深入分析了这些改进的原因，这些优点也将出现在目标概率分布计算复杂的其他领域中。

    Aug, 2023

  • 变分 Wasserstein 梯度流

    本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法，该方法利用了内部批量样本更新，实现了良好定义和有意义的目标函数下的梯度流构造，并在合成和真实高维数据集的实验中展示了其性能和可扩展性。

    Dec, 2021

  • 通过凸优化分析 Langevin Monte Carlo

    该论文提出了新的调整 Langevin 算法的洞见，并表明该方法可以被公式化为定义在阶为 2 的 Wasserstein 空间上的目标函数的一阶优化算法。

    Feb, 2018

  • PINF：用于物理约束深度学习的连续归一化流

    本文介绍了基于物理信息的归一化流（PINF），它是连续归一化流的一种新方法，通过特征方法结合扩散，能高效解决高维时间依赖和稳态福克 - 普朗克方程。

    Sep, 2023

  • Wasserstein-Fisher-Rao 梯度流的多目标优化

    多目标优化中介粒子方法以及其在全局帕累托优化中的应用

    Nov, 2023