Feb, 2024

无参数算法在决策相关分布下优化行为遗憾的研究

PDF
TL;DR本文研究了行为风险最小化，这是一种在决策依赖分布下的随机优化方法。我们考虑了一般情况下的非凸型行为风险，在此基础上，我们提出了高效的无参数乐观优化方法。我们的算法在许多方面显著优于现有的利普希茨贝叶斯方法。特别是，我们的框架不需要关于分布映射的敏感性参数和损失函数的利普希茨常数的知识。这使得我们的框架在实践中更有优势，结合高效的基于乐观优化方法的树搜索机制。通过实验证据，我们展示了我们的算法在数值上优于现有方法和其他黑箱乐观优化方法。
发现论文，激发创造
  • 利用执行反馈的懊悔最小化

    本文研究了在 performative 情境下找到接近最优点的模型的问题，该算法在找到最优解的同时还能保证低的后悔值，并通过对分布性的探索来构建风险置信度，从而建立了一种利用 bandits 算法来实现 performative 反馈下的后悔最小化的概念方法。

    Feb, 2022

  • 利用赌率反馈的表现预测：通过重新参数化进行学习

    本研究旨在研究不需要假设空间为凸集且模型对数据分布的映射事先已知的可应用的可执行预测问题。通过开发两级零阶优化算法，该算法一级旨在计算分布图，而另一个级别则将可执行预测目标重新参数化为由所引发的数据分布的函数。在一定的条件下，这种重新参数化使我们能够将非凸的目标转化为凸的目标，并实现可证明的遗憾保证。

    May, 2023

  • 基于不等式约束的零遗憾执行预测

    对于受到不等式约束的可行预测问题，本文在鲁棒的原始对偶框架基础上提出了一种自适应的原始对偶算法，通过数值模拟验证了算法的有效性和理论结果，该算法在不等式约束下达到 O (√T) 的后悔与约束违规，使用了√T + 2T 个样本。

    Sep, 2023

  • 走出 “回音壁”：优化表现风险

    本文探讨了 performative prediction 的问题，基于特定的损失函数和模型诱导的分布位移性质进行优化，从而实现风险凸优化，并且比通用导数优化方法具有更好的样本效率。

    Feb, 2021

  • 学习中基于决策相关分布的吸引区近似

    通过研究表征分类器对基础数据分布的影响的具有宏观性质的 映射方法，进一步分析重复风险最小化的扰动轨迹，提出了性能对准的概念，从而提供了关于收敛性的几何条件。

    Jun, 2021

  • 基于几何意义的线性赌博机算法平衡性能和理论保证

    该论文提出了一种基于数据驱动技术的算法，利用不确定椭球的几何性质追踪算法的习得性能，在不同的问题实例上实现实例相关的频率遗憾边界，从而实现算法实例纠错，并在保留基础算法大部分优良性质的同时，达到最小化讽刺性遗憾代价。

    Jun, 2023

  • 关于标准和鲁棒高斯过程赌博优化的下限

    本文研究在 Reproducing Kernel Hilbert Space（RKHS）中具有有界范数的函数的黑盒优化问题的算法无关下限，并提供了在标准噪声和各类扰动下的决策边界。

    Aug, 2020

  • 演绎预测的随机优化

    本文研究了在执行预测中采用随机优化的问题，证明了在梯度下降中使用贪心和懒惰部署模型的收敛速度，并通过实验分析了两种方法的平衡点和最优情况。

    Jun, 2020

  • 随机逼近的状态依赖表现预测

    本文研究的是表现性预测问题，通过数据分布和决策变量的依赖来优化随机损失函数。我们考虑的设置是，代理提供适应于学习者和代理以前状态的样本。该算法被研究为一种状态相关的随机近似算法，它可以找到一个称为表现稳定解的固定点。我们的贡献有三个方面。首先，我们证明了随机梯度可以通过受控 Markov 链驱动的有偏随机梯度建模。其次，我们提出了一种新的有限时间性能分析方法，表明表现稳定解的期望平方距离与迭代次数的 $1/k$ 以相同的速度递减。第三，通过数值实验验证了我们的发现。

    Oct, 2021

  • 分布偏移下鲁棒机器学习的最小化遗憾优化

    该论文讨论了一种名为 Distributionally Robust Optimization (DRO) 的学习方法，该方法不一定能够保证在全部情况下达到一致的低回归值，提出了一种替代方法 Minimax Regret Optimization（MRO），在适当的条件下，该方法可以在全部测试分布下达到一致地低回归值，尤其是在测试分布与训练数据相似性较低的情况下，MRO 可以作为处理分布偏移的有效方法。

    Feb, 2022