- 序列学习神经网络的函数空间参数化
通过将神经网络从权重空间转化为函数空间的双参数化技术,我们解决了渐进学习方法在深度学习中的挑战,包括融入新数据和保留先前知识等问题。该技术在大规模数据集上通过稀疏化实现了函数空间方法的可扩展性,同时在有限访问过去数据时保留先前知识,并且在不 - PMBO: 通过多元多项式替代物强化黑箱优化
采用多项式模型为基础的优化方法 (PMBO) 在低维优化问题中表现出色,与经典贝叶斯优化和进化算法相比具有更好的鲁棒性和解释性。
- 通过 Shapley 值解释贝叶斯优化以促进人工智能与人类合作
提出了 ShapleyBO 方法来解释贝叶斯优化 (Bayesian optimization) 的提案,通过博弈论的 Shapley 值对每个参数的贡献进行量化,揭示了每个参数对贝叶斯优化的探索和开发的影响,以及探索方向中先验不确定性和后 - 高斯过程预测与蒙特卡洛采样的融合
本文介绍了应用于科学和工程领域的模型,利用贝叶斯范式和高斯过程生成概率密度函数(pdfs),通过蒙特卡洛抽样来集成这些 pdfs,并通过线性和对数线性汇集方法介绍了对预测 pdfs 的输入相关权重的确定方法,使用合成数据集验证了这些方法的性 - 多层次残差神经过程用于可扩展的替代建模
多保真度代理模型通过聚合来自多个来源的数据,以学习最高保真度级别的准确代理模型。我们提出了一种新的多保真度代理模型框架 - 多保真度残差神经过程 (MFRNP),通过对较低保真度的代理模型输出进行聚合,并对聚合结果与最高保真度的真实数据之间 - 高效计算的高斯过程在主动学习中的安全界限
基于自适应采样的高斯过程后验中极值中位数的可证明安全边界为活动学习提供了有效的安全约束,以便在物理系统中进行设计空间的探索。
- 稀疏变分受污染噪声高斯过程回归预测地磁扰动
本文提出了一种使用受污染正态似然函数扩展高斯过程框架的方法,以更好地考虑异方差性和异常噪声。我们还提出了一种基于稀疏变分高斯过程方法的可扩展推理算法,用于在大型数据集上拟合具有受污染正态噪声的稀疏高斯过程回归模型。我们在地磁地面扰动应用中进 - 利用高斯过程提升均值回归时间序列预测:金融预测中的功能性和增强数据结构
本研究使用高斯过程(GPs)探索了对具有基本结构的均值回归时间序列进行预测的应用,使用相对未开发的函数和增强数据结构。通过模拟数据,我们可以将预测分布与测试集的实际分布进行比较,从而减少对实际数据进行时间序列模型测试时固有的不确定性。
- 全球安全连续学习:高效知识传递
通过转移安全顺序学习,实现在给定的观测下全局探索多个不相交的安全区域,并以与传统安全学习方法相当的计算量下,以更低的数据消耗学习任务。
- 近似高斯过程的基准线和基准测试建议
高斯过程是机器学习工具箱中成熟且广泛使用的组成部分之一。论文提出了一种基于方法所期望的指标来比较高斯过程的近似方法的建议,并开发了一种训练过程,使用户不需要进行选择。研究结果表明,根据这些建议进行基准测试可以更清楚地了解领域的当前状况,并揭 - 神经网络适用于解决逆问题的渐近行为
利用神经网络的渐近极限和对应的高斯过程,研究解卷积逆问题在量子谐振子模拟中的应用,发现使用神经网络的渐近极限得到的高斯过程比全连接神经网络的解卷积逆问题结果更好,而训练后的神经网络精度随着层数增加逼近高斯过程的精度,在文献中提供了一种新颖的 - 一种新的高斯极值定理及其应用
通过 Gordon 的某些不等式条件,我们发现了一对满足这些不等式条件的新的高斯过程,从而扩展了经典的高斯 min-max 定理和凸高斯 min-max 定理的应用领域,包括高维统计、机器学习等。
- 高维点过程结构缺失的潜变量模型
我们提出了一个灵活高效的潜变量模型,利用高斯过程捕捉样本与相关缺失模式之间的时间相关性,并构建可变分自动编码器模型来处理高维度、结构化缺失模式和未知随机过程等数据挑战。
- MM贝叶斯优化的沃罗诺伊候选方案
通过使用当前设计点的 Voronoi tessellation 边界上的候选点,我们提出了一种在高维度下高效实现的 Bayesian optimization 方法,显著提高了多次启动连续搜索的执行时间而不损失精度。
- 基于高斯过程回归的分布式事件触发在线学习,用于多智能体系统的安全共识
利用高斯过程学习补偿多智能体系统中未知的组成部分,并通过基于概率保证的预测误差边界确保了所提出的基于学习的控制器的控制性能。
- MM自注意力通过核 - 特征值对稀疏变分高斯过程
通过使用 Kernel-Eigen Pair Sparse Variational Gaussian Processes (KEP-SVGP),解决了注意力核的非对称性问题,并获得了降低时间复杂度的方法,验证了其在多个基准测试中的出色性能和 - 量子辅助的希尔伯特空间高斯过程回归
高斯过程是机器学习中常用的概率模型之一,本研究提出了一种基于希尔伯特空间逼近的量子算法,用于解决高斯过程回归中数据集规模大导致的计算复杂性问题。该方法结合了经典基函数展开和量子计算技术,利用量子主成分分析、条件旋转、Hadamard 和 S - AAAI高斯过程与马蹄铁先验的半参数专家贝叶斯网络学习
该论文提出了一种在具有线性参数和结构约束的专家贝叶斯网络中学习半参数关系的模型 (SEBN)。我们使用高斯过程和 Horseshoe 先验引入最小的非线性组件。为了优先修改专家图而不是添加新的边缘,我们优化了差分 Horseshoe 比例。 - 基于仿真的贝叶斯优化
模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法,只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中,我们通过使用不同的代理模型在实证上证 - 高斯过程替代评估的保证覆盖的一致方法
通过将非一致性得分与高斯过程的后验标准差加权,提出了构建自适应交叉一致性预测区间的方法,这些预测区间具有类似于贝叶斯可信区间的适应性水平,并且在没有基础模型假设的情况下具有频率覆盖保证,可以用于评估高斯过程代理模型的质量,并帮助决策者选择最