Feb, 2021

GIBBON: 通用信息为基础的贝叶斯优化

PDF
TL;DR本文介绍了 GIBBON 作为一种通用的贝叶斯优化方法，它提供了一种新的信息增益近似方法，可解决包括噪声、多保真度和批量优化在内的一系列 BO 问题，并且是目前支持非欧氏空间的高性能但计算量轻的批量 BO 获取函数，同时在各种综合测试中表现优异。
bayesian optimizationinformation gainmulti-fidelitybatch optimizationgibbon
发现论文，激发创造
  • 基于决策论熵的贝叶斯优化泛化

    本文提出一种基于 Sherman 逻辑的不确定性泛化度量，将它应用到贝叶斯优化中来表征不确定性，从而解决了当前信息理论 BO 算法无法考虑后续过程的问题，并且提出一个以此为基础的灵活的获取函数家族。最后，作者还开发了一种基于梯度的方法来高效优化它们，成功地解决了各种顺序决策任务中的优化问题。

    Oct, 2022

  • 快速信息理论贝叶斯优化

    本文提出了一种快速信息理论贝叶斯优化方法 FITBO，它避免了采样全局最小化器的需求，从而显著减少计算开销，并且相比于现有方法，我们的方法在内核选择上面临更少的约束，并具有处理输出空间的优点。我们实证表明，FITBO 继承了与信息理论贝叶斯优化相关的性能，同时比期望改进等更简单的贝叶斯优化方法更快。

    Nov, 2017

  • 图信息瓶颈

    本文介绍了一种基于信息瓶颈原理的图形数据表示学习方法 —— 图信息瓶颈，该方法通过优化平衡了图形网络结构和节点特征的表达方式的表达性和鲁棒性，设计了两种采样算法进行结构方面的正则化，并使用两个新模型：GIB-Cat 和 GIB-Bern 来实现 GIB 原则，证明了其比最先进的图形防御模型更具有鲁棒性。

    Oct, 2020

  • 用于赌博游戏的近似信息最大化

    基于熵最大化和自由能最小化的原理，提出一种新类的 Bandit 算法，通过最大化系统内关键变量的信息量近似来选择行动，该方法在经典 Bandit 设置中表现出较强的性能，并在高斯奖励的二臂 Bandit 问题上证明了渐近最优性，为进一步研究信息最大化方法在多臂 Bandit 问题中的应用提供了有效方法。

    Oct, 2023

  • 信息几何优化算法：不变原理的统一看法

    本研究提出了一种基于信息几何学的优化方法，使用自适应的、时变的、基于分位数的目标函数变换进行自然梯度上升。该方法不假设目标函数是可优化的，并通过时间离散化产生具体算法。理论上显示该算法最小化了多样化的损失，初步实验也展示了该算法具有在单次运行中做多次全局探索的能力。

    Jun, 2011

  • 子图识别的图信息瓶颈

    本文提出了图信息瓶颈（GIB）框架，解决了深度图学习中子图识别问题，并在三种应用场景下评估 IB 子图的性能。

    Oct, 2020

  • 信息几何优化的目标改进

    Information-Geometric Optimization 是一种利用概率分布族和 Fisher metric 来优化适应性函数的方法，透过自适应变换及更新参数来优化目标函数，其适用于不同概率分布族，如 Bernoulli 及 Gaussian 分布族及指数族；本文证明其任何小于等于 1 的步长都能保证上升的单调改进，并延伸到涉及到不同步长及被选择的个体的情况下。

    Nov, 2012

  • 贝叶斯多尺度乐观优化

    本文介绍了一种将高斯过程置信度边界和树形同时乐观的优化相结合的技术，以消除对收购功能辅助优化的需求，并且相比于其他方法更为有效。

    Feb, 2014

  • 受限贝叶斯优化与最大值熵搜索

    本文提出了基于高斯过程的约束最大值熵搜索 (cMES) 并表明它比其他基于熵搜索的约束优化算法在真实约束优化问题上更简单更快速。

    Oct, 2019

  • 个体和结构图信息瓶颈与超出分布泛化

    本文提出了一种名为 IS-GIB 的统一框架，旨在处理在图模型应用中常见的 OutOfDistribution 和类间关系问题。通过 Individual Graph Information Bottleneck（I-GIB）和 Structural Graph Information Bottleneck（S-GIB）来解决这些问题，并通过最小化互信息来消除不相关的特征和同时保持类之间的关系。在节点和图级任务上进行的广泛实验表明，IS-GIB 具有优越的泛化能力。

    Jun, 2023