- 生理信号的深层潜变量建模
本文探索运用深层潜变量模型解决与生理监测相关的高维问题,包括利用心电波形生成模型进行心脏疾病诊断、结合概率图模型和深度对抗学习的大脑信号建模方案以及生理测量和行为联合建模的框架。这些创新性计算方法的成功应用能够在生物学研究、临床诊断和新兴消 - 高维空间中普通贝叶斯优化表现出色
高维问题一直被认为是贝叶斯优化算法的致命软肋。本文通过识别导致标准贝叶斯优化在高维任务中性能不佳的退化情况,并通过减少模型复杂性的角度探究现有算法如何应对这些退化情况。此外,我们提出了一种增强对标准贝叶斯优化算法中先验假设的修改方法,通过与 - 加速近似汤普森抽样与欠阻尼 Langevin 蒙特卡洛
使用欠阻尼 Langevin Monte Carlo 的近似 Thompson 抽样策略,改善了高维问题中需求高准确性时的可扩展性问题,并通过合成实验在高维赌博问题中经验验证了该算法的可扩展性和鲁棒性。
- Krylov 立方正则牛顿:一种无维度收敛速度的子空间二阶方法
该研究介绍了一种新的子空间三阶正则牛顿方法,其在解决凸优化问题时具有与维度无关的全局收敛速度,并且在特定谱条件下能恢复到完全维度的三阶正则牛顿方法的收敛速度,数值实验表明该方法比现有的随机子空间方法收敛更快,尤其在高维问题上。
- 生成后验网络用于近似贝叶斯认知不确定性估计
生成后验网络(GPN)是一种新方法,利用未标记的数据来估计高维问题中的认识不确定性。它是一种生成模型,通过对网络进行正则化以从先验中采样,直接逼近后验分布。理论上证明我们的方法确实逼近了贝叶斯后验,并且实验证明它在比较方法上改进了认识不确定 - 高维贝叶斯优化与大规模约束的应用 -- 飞机弹性调整
使用高维贝叶斯优化和降维方法结合解决在航弹性优化中出现的高维问题,为具有大规模约束的问题提出了一种新颖的方法。实验证明该方法能够纳入大规模约束。
- 高维贝叶斯优化与分组测试
我们提出了一种称为 Group Testing Bayesian Optimization (GTBO) 的算法,通过使用组合测试的方法来识别和利用活跃变量,从而优化高维问题的黑盒函数。通过利用坐标轴对齐子空间假设,GTBO 在多个合成和真 - 局部贝叶斯优化的行为和收敛性
文章介绍了 Bayesian 优化中的局部优化策略,对高维问题具有强大的实证表现,研究表明高斯过程样本路径的个体局部解的统计性质比全局方法更好,首次对 Bayesian 局部优化算法进行了严密分析,并推导了噪声和无噪声情况下的收敛速度。
- 动态和自适应损失保证下非稳态无投影在线学习
本文研究了非稳态下的无投影在线学习,使用动态遗憾和自适应遗憾来衡量性能,提出了基于多个不同步长的 BOGD_IP 算法并行运行的算法,以及维护一组 BOGD_IP 算法并动态地组合它们的元算法,实验结果验证了理论分析。
- 最优传输与投影寻踪下的时间相关密度生成建模
本文提出了一种用于生成模型的廉价替代方案,该方案使用投影优化器以及输运样条来加入连续的样本并插值演变密度,比起基于时间而条件的现有流模型具有高度的竞争力,适用于一系列高维度问题。
- 可微分遗传规划用于高维符号回归
本研究提出了一种名为 DGP 的可微分方法,用于高维符号回归,其包括新的数据结构、采样方法和多样化机制等。实验证明,该方法能够有效地优化生成树,取得了在高维回归基准测试中优于同行竞争者的性能,并且即使在不同噪声水平下,也能够实现最佳恢复率。
- EvoTorch:Python 中可扩展的进化计算
EvoTorch 是基于 PyTorch 的一种演化计算库,提供高纬度最优化问题、GPU 支持和高并行性能。
- 潜在保存对抗生成网络用于不平衡分类
本文提出了一种端到端的深度生成分类器,通过使用领域约束自编码器作为生成器的先验来解决类不平衡问题,并使用判别器和分类器进行对抗学习,实验结果验证了该方法在处理高维类不平衡分类问题方面的卓越性。
- Grassmann Stein 变分梯度下降
本研究提出了一种名为 Grassmann Stein 变分梯度下降 (GSVGD) 的新概念,用于处理维度高的目标分布问题,具备在高维空间中探索低维结构等特性。GSVGD 方法与其他变体方法相比,更新打分函数和数据的投影器并通过一种耦合的 - ICML通过快速贝叶斯奖励推断从喜好中进行安全的模仿学习
Bayesian Reward Extrapolation (Bayesian REX) is an efficient algorithm for high-dimensional imitation learning, which pr - 用机器学习框架解决高维场均值博弈和场均值控制问题
本文提出了一种基于机器学习的灵活框架以数值解决潜在的平均场博弈和平均场控制问题,该框架避免使用空间离散化并利用拉格朗日和欧拉观点相结合的方法来近似解决高维问题。在标准工作站上近似解决了 100 维最优传输和人群运动问题,并在二维上进行了欧拉 - 局部贝叶斯优化实现可伸缩的全局优化
本文提出了一种名为 TuRBO 的算法来解决高维问题的全局优化,该算法利用一系列局部模型,通过隐式赌博方法对这些模型之间的样本进行原则性的全局分配,并在强化学习、机器人学和自然科学领域的问题上显著优于其他现有方法。
- 深度生成模型的快速近似测地线
通过在来自聚合近似后验的有限样本图中找到最短路径,我们提出了一种解决高维空间中数据相似性计算的方法,并在图像数据的多个实验中进行了验证。
- NIPS随机原始 - 对偶法用于经验风险最小化,每次迭代复杂度为 O(1)
本文提出了新的随机原始对偶算法,用于解决具有线性预测器的正则化经验风险最小化问题。通过泰勒展开、凸组合和割平技巧得到具有较优复杂度和收敛性质的算法,进一步提出了方差减少版算法和数值实验表明该算法在高维问题上优于现有算法,收敛速度更快。
- 高维非参数回归和分类的稀疏输入神经网络
该论文提出了使用稀疏组套索惩罚来适应神经网络以解决非参数高维问题,其中真实功能位于低维子空间中,并对统计收敛性进行了表征。