Apr, 2023

基于数据的分段仿射决策规则的随机规划与协变量信息

PDF
TL;DR利用经验风险最小化方法嵌入非凸分段仿射决策规则，学习从特征到最优决策的映射，提出 PADR 基于 ERM 方法，并证明了其在无约束问题上非渐进一致性和带约束问题上渐进一致性，利用 SM 算法解决非凸非可分 ERM 问题，建立其复杂度分析，表明所提方法适用于多种非凸问题并具有理论保证和计算可行性。
stochastic programmingcovariate informationempirical risk minimizationpiecewise affine decision rulenonconvex optimization
发现论文，激发创造
  • 重新审视差分隐私的经验风险最小化问题：更快且更广泛

    本文研究不同设置下差分隐私经验风险最小化问题，提出了比以前更少的梯度复杂度的算法，并从凸损失函数推广到满足 Polyak-Lojasiewicz 条件的非凸函数，给出比传统算法更紧的上界。

    Feb, 2018

  • 严格鞍点问题的经验风险最小化的快速速率

    本文研究非凸风险最小化的样本复杂性，并探索了在此上下文中最小化此类功能的有效算法，结果表明这些算法不仅具有统计稳定性，而且具有良好的泛化能力。

    Jan, 2017

  • 用于规则经验风险最小化的随机原始对偶坐标法

    本文探讨了与正则化的经验风险线性预测器极小化相伴的一般凸优化问题，并将其重构为凸凹鞍点问题。我们提出了随机原始对偶坐标（SPDC）方法，该方法在随机选择的对偶变量上进行最大化和在原始变量上进行最小化之间交替运算，并通过原始变量的外推步骤以提高收敛速度。我们还开发了 SPDC 方法的小批量版本，以便实现并行计算，并在对偶变量的加权采样概率上进行了扩展，使其比非标准化数据上的均匀采样具有更好的复杂度，理论和经验表明 SPDC 方法与一些最先进的优化方法相比具有可比或更好的性能。

    Sep, 2014

  • 贝叶斯非参数统计遇见数据驱动的鲁棒优化

    通过将贝叶斯非参数理论和最近一些决策理论模型的平滑模糊厌恶偏好相结合，我们提出了一种新颖的鲁棒准则，并与标准的正则化经验风险最小化技术之间建立了新颖的联系，从而为优化过程提供了有利的有限样本和渐进统计保证。

    Jan, 2024

  • 非正则化：经验风险最小化的近端点近似和更快的随机算法

    本文提出了一种新的随机算法，通过将强凸函数的最小化转化为函数规则化的逼近最小化，从而优化了经验风险最小化过程中的性能，实践表明该算法具有稳定性和行之有效的优势

    Jun, 2015

  • 通过最小化分布健壮边界来近似动态规划

    本文描述了一种新的近似动态规划方法 —— 分布式鲁棒性近似动态规划，通过最小化对策略损失的悲观界限来解决维度灾难，将 ADP 转化为优化问题，提高了现有 ADP 方法的理论保证。 DRADP 保证收敛和基于 L1 范数的误差界限，并在基准问题上展示了良好的性能表现。

    May, 2012

  • 用于最大后验估计的可扩展半定松弛方法

    本文介绍了一种基于新的半定松弛形式 (SDR) 的最大后验推理方法，用于在大规模马尔科夫随机场上求解 MAP 问题，并采用 SDPAD-LR 交替方向乘法加速算法，取得了显著的可扩展性和计算效率。

    May, 2014

  • 具有方差缩减的异步随机近端优化算法

    本文提出异步 ProxSVRG 和异步 ProxSVRCD 算法，证明当训练数据为稀疏矩阵时，异步 ProxSVRG 可以达到近似线性加速，而异步 ProxSVRCD 无论稠密还是稀疏数据，只要区块数目适当，就可以实现近似线性加速。通过实验证实了异步随机近端算法与方差规约技术的实践效率。

    Sep, 2016

  • CVaR 约束 MDPs 的政策梯度

    本文研究了风险受限随机最短路径问题中的条件风险价值，提出了两种基于随机逼近、小批量、策略梯度和重要性采样的本地风险最优策略算法，并将条件风险价值估计过程纳入算法中进行梯度和方差的估计和降低。

    May, 2014

  • 论经验风险最小化的方差、可接受性和稳定性

    本文研究了 Empirical Risk Minimization 在最小化最大化次优误差率下的偏差和方差分解问题，证明了在偏差方面，ERB 存在明显缺陷。同时，文中探讨了 ERM 的可接受性定理，并扩展到固定设计和随机设计的各种模型中。最后，提出了 ERM 的稳定性，以及一定条件下 ERM 的近似极小化不足的情况。

    May, 2023