- FunBO:基于 FunSearch 的贝叶斯优化的发现式获取函数
该论文提出了一种基于大型语言模型的方法 FunBO,可以学习用于函数优化的新的采集函数,并在各种全局优化基准和超参数优化任务中取得竞争性性能。
- 利用大型语言模型进化成本感知的获取函数
本文介绍了一个新的框架,将大型语言模型与进化计算相结合,自动设计成本感知的采集函数,以在有限预算内高效接近全局最优解。
- 通过概率上升实现通用批次贝叶斯优化的正交方法
在贝叶斯优化中并行化是一个常见的策略,但面临几个挑战:在获取函数和内核选择方面需要灵活性,同时处理离散和连续变量的灵活性,模型错误指定以及快速大规模并行化。为了解决这些挑战,我们介绍了一个灵活和模块化的基于概率提升和内核数值积分的批量贝叶斯 - 主动相关聚类的有效获取函数
本文研究了相关聚类中使用主动学习来查询相似性的有效获取函数,并提出了三种基于不一致性、熵和信息增益的获取函数。
- 受限贝叶斯优化在部分观测下的平衡改进和可证收敛性
在部分可观测约束优化问题(POCOPs)中,我们通过改进的收集函数设计在优化期间引入平衡探索,并提出了一种使用不同似然度的高斯过程嵌入模型作为部分可观测约束的替代模型。实证研究结果表明,我们的方法在解决 POCOPs 问题上具有竞争力。
- 工程设计中的多保真贝叶斯优化
综述了多保真优化与贝叶斯优化相交的领域中 MF BO 的最新发展,包括高斯过程为基础的 MF 代理模型和不同的采集函数,并探讨了多保真优化在约束优化、高维优化、不确定性优化和多目标优化中的应用。
- 基于后验采样的贝叶斯优化与更紧的贝叶斯遗憾界限
该研究论文介绍了贝叶斯优化中的不同收集函数,探讨了高斯过程上置信界与 Thompson 采样方法的理论性能,并提出了一种称为来自样本路径最大值的改进概率的新的收集函数,它能够缓解实际应用中的问题。
- 贝叶斯优化中对预期改进的意外改进
我们提出了一种名为 LogEI 的新型收敛函数家族,其成员在数值优化方面比标准收敛函数更容易操作,能够显著提升优化性能,并与最新的收敛函数表现相媲美或超越,突显了数字优化在文献中的被低估作用。
- 利用可推广的记忆修剪减少贝叶斯优化的计算时间
本文介绍了一种可与任何代理模型和获取函数一起使用的可广泛应用于内存修剪与有界优化的贝叶斯优化封装方法,通过这种内存修剪方法,我们展示了贝叶斯优化在每个实验的墙钟计算时间从多项式递增模式转变为具有非递增趋势的锯齿模式,而不牺牲收敛性能。此外, - 级联多阶段流程的贝叶斯优化
研究了一种被称为 Cascade Process 的多阶段决策过程优化问题,并将其作为 Bayesian Optimization 的扩展来解决。作者提出了基于可信区间和期望改进的两类收获函数,并探讨了所提出收获函数的理论特性。研究结果表明 - 基于次模信息度量的现实场景主动学习
提出了 SIMILAR (Submodular Information Measures based actIve LeARning)—— 利用最近提出的子模信息度量 (SIM) 作为获取函数的统一主动学习框架,既能在标准主动学习中工作,也 - DEAL: 面向语义分割的难度感知主动学习
该论文提出了一个基于难度感知的主动学习网络(DEAL),通过引入像素级概率注意力模块和两个获取函数来学习不同语义区域的难度得分,并在语义分割基准测试中取得了最新的主动学习性能,并特别提高了难语义区域的性能。
- ICML基于图的高效主动学习,采用概率似然的 Probit 近似
该研究介绍了如何在非高斯贝叶斯模型下 对基于图的半监督学习 (SSL) 进行主动学习的新型适应方法,包括适用于非高斯分布的新型收集方法和模型重训练。
- 贝叶斯优化中找到问题的解,但不确定其位置
利用高斯过程代理转换和两种收集函数来有效地搜索输入量 x * 的新颖贝叶斯优化方法对调优深度强化学习算法和肤色分割数据集中的 XGBoost 模型进行了实验证明其相对于标准 BO 方法具有直观和数量上更好的性能。
- EMNLP自然语言处理的深度贝叶斯主动学习:一项大规模实证研究结果
本篇论文就深度主动学习进行了大规模实证研究,针对多种任务和数据集、模型以及获取函数,证实贝叶斯主动学习方法在许多方面都优于传统的不确定性采样方法。
- 贝叶斯优化教程
本文介绍了贝叶斯优化的基本工作原理,包括高斯过程回归和三种常见的采集函数;讨论了高级技术,包括并行运行多个函数评估,多保真度和多信息源优化,多任务的贝叶斯优化,并探讨贝叶斯优化软件和未来研究方向。
- 贝叶斯优化中的收集函数最大化
贝叶斯优化是一种采样高效的全局优化方法,采用获得函数(采购函数)来引导其搜索过程。本文利用 Monte Carlo 方法估计采购函数,证明其可进行梯度优化;我们还确定了一类通用的采购函数,包括 EI 和 UCB,并证明我们可以使用贪心算法对 - NIPS收益函数的参数化技巧
本文研究了贝叶斯优化中的采集函数建立方法,将多种常见采集函数转化为高斯积分以求优,最终用 Monte Carlo 估算器通过该 reparameterized 方法实现了高效并行优化选择。
- 贝叶斯优化的熵搜索组合
本文提出了一种新的资产组合方法 —— 熵搜索组合(ESP),以解决 Bayesian 优化方法中的探索策略选择问题,并在实际和人工数据上的若干问题中证明了 ESP 方法的优越性和鲁棒性。