IJCAIMar, 2020

通过对抗式强化学习的强健市场做市

PDF
TL;DR本研究证明对抗强化学习 (ARL) 可以用于产生适应性强、抗干扰的做市商代理。我们将 Avellaneda 和 Stoikov [2008] 的单一代理模型转化为做市商和对手之间的离散时间零和游戏，实验证明 ARL 方法的性能改善显著，收敛到纳什均衡。
adversarial reinforcement learningmarket making agentsrobustnessnash equilibriaperformance improvement
发现论文，激发创造
  • 风险厌恶稳健对抗强化学习

    本文提出了一种风险规避的强化学习算法，通过引入风险规避主角和风险趋避对手的方式，使用价值函数方差来建模风险，避免极端不良事件的发生，该算法在自动驾驶控制器上的实验中证明具有较高的鲁棒性。

    Mar, 2019

  • 通过适应性规则对抗训练实现史塔克伯格博弈的坚韧强化学习

    本文介绍了一种用于强化学习的 Stackelberg 游戏模型 ——RRL-Stack，旨在提供额外的鲁棒性训练和解决目前 RL 训练中存在的过度保守智能及训练不稳定等问题，并提出了一种基于 Stackelberg Policy Gradient 算法的解决方案，在单一和多智能体任务中展现更好的训练稳定性和鲁棒性。

    Feb, 2022

  • 强韧性对抗性强化学习

    提出了一种稳健性的敌对训练 (robust adversarial reinforcement learning, RARL) 方法，该方法将敌对训练与零和极小优化相结合，通过训练一个智能体，使其能够在真实系统上的杂乱因素和不确定性下操作，并在多种环境中进行了验证。

    Mar, 2017

  • 交易市场的稳健风险敏感的强化学习智能体

    提出了一系列用于对付高波动性、高代价探索、多智能体交互等具有挑战性的贸易市场的强化学习算法，并将其应用于多智能体环境。这些算法不仅考虑风险意识、扰动下的鲁棒性和低学习方差，还进行了实证博弈理论的扩展。

    Jul, 2021

  • 有界理性曲线下的鲁棒对抗强化学习

    基于熵正则化的量子对抗增强学习 (QARL) 是一种新方法，通过渐进式增加对手的理性来简化优化问题的复杂性，从而提高稳健性以及在多个 MuJoCo 运动和导航问题上的整体性能。

    Nov, 2023

  • 基于对抗性韧性学习架构的复杂智能建模，探索和运行复杂的网络物理系统

    本文介绍了 Adversarial Resilience Learning（ARL）概念，其定义了两个代理类，即攻击者和防御者，这两个代理机器人在没有任何领域知识的情况下互相探索和训练，并且可以使用广泛的模型自由和模型基础的深度强化学习算法，例如在复杂的电力网络上运行实验，以实现复杂环境下的检查和弹性运行。

    May, 2020

  • 使用对抗种群的鲁棒强化学习

    利用强化学习中的对抗噪音和以聚集对手人口作为训练方法，改善了机器人领域中强化学习中的鲁棒性和泛化性能。

    Aug, 2020

  • 使用对抗训练提高强化学习在电力系统控制中的鲁棒性

    本文针对电网控制系统的弱点进行研究，发现现有的强化学习算法存在敏感性，容易受到恶意攻击，提出了一种基于对抗训练的解决方案，以增强算法的安全性和鲁棒性。

    Oct, 2021

  • 强化学习市场做市

    本文提出了一种高保真度的极限订单簿交易市场模拟，并使用其设计了一个使用时序差分强化学习方法的市场制造代理，为此我们使用线性组合的 “瓷砖编码” 作为价值函数逼近器，并设计了一个自定义的奖励函数，控制库存风险。通过显示我们的代理优于简单基准策略和文献中的最新在线学习方法，我们展示了我们方法的有效性。

    Apr, 2018

  • 多智能体强化学习模拟加密市场

    通过使用多智能体强化学习模型，对加密货币市场进行建模和仿真，该模型根据 2018 年至 2022 年间 Binance 交易的 153 种加密货币的每日收盘价进行校准，利用市场价格和加密资产基本价值的近似值进行资产价格估值，从而精确模拟加密货币市场的微观结构和关键市场行为。

    Feb, 2024