Jul, 2023

贝叶斯安全策略学习与机会约束优化：对越南战争期间军事安全评估的应用

PDF
TL;DR在研究中，我们调查了是否有可能在越南战争期间，通过使用 1969 年末引入之后立即测量到的结果来改进当时使用的安全评估算法。我们还提出了一种贝叶斯策略学习框架以及平均条件风险（ACRisk）来解决与高风险算法决策制定相关的挑战。研究结果显示，相比于越南战争期间实际使用的算法，学习算法将大多数地区评估为更安全，并且强调经济和政治因素胜过军事因素。
algorithmic decision-makingsecurity assessment algorithmrisk assessmentpolicy learningvietnam war
发现论文，激发创造
  • 通过条件风险价值优化学习健壮的选项

    本文提出了一种基于条件风险价值方法的学习选项的方法，旨在处理具有不确定性的模型参数，以实现在平均和最坏情况下都能良好运作的选项，通过实验评估表明该方法在多关节机器人控制任务中获得了较好的表现。

    May, 2019

  • 保守乐观：快速学习 CVaR 策略

    以 Markov 决策过程为基础，采用面对不确定性的乐观主义原则，使用一种乐观主义的分布 Bellman 算子，将回报分布的概率质量从下尾部移动到上尾部，从而快速学习具有良好 CVaR 的策略。该算法可以在多种模拟环境中更快地找到 CVaR 最优策略。

    Nov, 2019

  • 平均受限策略优化

    本论文提出针对平均准则的受约束 MDPs 的一种新的（可能是第一种）策略优化算法 —— 平均约束策略优化（ACPO）算法，通过对平均 MDP 的基本灵敏度理论进行开发并在算法的设计中使用相应的界限，提供其性能的理论保证，并通过在各种具有挑战性的 MuJoCo 环境中的广泛实验工作，展示了该算法与其他专门为平均 CMDP 设置的最先进算法相比的卓越性能。

    Feb, 2023

  • 具有分位风险标准的风险受限强化学习

    本文研究利用概率风险约束的马尔可夫决策过程，通过计算梯度并设计算法实现了局部最优策略，解决了累积成本最小化的顺序决策问题，例子包括最优停止问题和在线营销应用。

    Dec, 2015

  • 贝叶斯对抗性风险最小化

    提供了一种贝叶斯视角的数学方法，支持使用 logged bandit feedback 进行离线学习，提出了一种新的 generalization bound 来估算社会可接受的风险，并引入了一种新的正则化技术来避免过拟合。

    Jun, 2018

  • 条件风险下的统计学习

    研究一种基于条件风险价值（CVaR）的风险规避统计学习框架，提出了基于随机梯度下降的算法。对于凸和 Lipschitz 的损失函数，该算法收敛到最优 CVaR，而对于非凸和平滑的损失函数，该算法在 CVaR 上的泛化界表现良好。通过在各种机器学习任务上进行数值实验，证明了该算法有效地将 CVaR 最小化。

    Feb, 2020

  • 反事实风险最小化：从带状反馈中学习

    开发了一种学习原则和一种有效算法，用于从记录的 bandit 反馈中进行批处理学习。由此产生的 Counterfactual Risk Minimization 原则提供了 POEM 的新学习方法，用于学习结构化输出预测的随机线性规则。

    Feb, 2015

  • 随机风险厌恶学习的自适应采样

    在机器学习应用中，我们提出了一种风险规避的训练模型的方法，它通过优化在最难的样本上的表现来提高模型的稳定性和可预测性，关键是利用分布式随机优化算法和结构化行列式点过程进行大规模的学习任务。

    Oct, 2019

  • 风险敏感强化学习应用于约束条件控制

    本文研究带错误状态的马尔可夫决策过程，并提出了基于风险和价值函数的启发式强化学习算法用于优化控制任务，实验结果表明该算法可以在模型假设被放宽的情况下成功应用于控制任务。

    Sep, 2011

  • 马尔科夫决策过程中约束风险的强化学习策略

    本研究提出了一种基于 MDPs 的风险受限规划算法，它将 UCT-like 搜索与通过线性规划实现的风险受限动作选择相结合，以最大化在低于所需阈值的情况下遇到故障状态的预期贴现总和回报。

    Feb, 2020