本研究证明对抗强化学习 (ARL) 可以用于产生适应性强、抗干扰的做市商代理。我们将 Avellaneda 和 Stoikov [2008] 的单一代理模型转化为做市商和对手之间的离散时间零和游戏，实验证明 ARL 方法的性能改善显著，收敛到纳什均衡。

Mar, 2020

本文提出了一种风险规避的强化学习算法，通过引入风险规避主角和风险趋避对手的方式，使用价值函数方差来建模风险，避免极端不良事件的发生，该算法在自动驾驶控制器上的实验中证明具有较高的鲁棒性。

Mar, 2019

我们研究了在一般和马尔可夫游戏中，多智能体强化学习中的风险敏感问题，其中智能体通过强化学习最大化奖励的熵风险衡量，并且可能具有不同的风险偏好。我们表明，使用现有文献中直接从后悔中获得的波动作为性能指标可能会导致存在偏差的策略，偏好最敏感风险的智能体并忽视其他智能体。为了解决这种直接后悔的不足，我们提出了一种新的后悔定义，称之为风险平衡后悔，并通过下界证明其克服了平衡偏差的问题。此外，我们开发了一种自我博弈算法，用于在风险敏感的马尔可夫游戏中学习纳什均衡、相关均衡和粗糙相关均衡。我们证明了该算法相对于风险平衡后悔在近乎最优的性能保证。

May, 2024

我们研究了一种基于强化学习代理的代理市场模拟框架，并展示了该框架在模拟市场的实现细节和真实市场观察到的特征。我们还研究了强化学习代理在面临外部市场影响（如闪崩）时的行为，并对其在重要市场事件中的响应提供了深入洞察。

Mar, 2024

在高度动荡的金融市场环境下，本研究提出了一个自适应的多智能体框架（MASA），采用了深度学习和强化学习方法作为反应性代理，平衡投资组合的回报和潜在风险。该框架中的市场观察者代理提供了有价值的市场趋势信息，以帮助多智能体反应性学习方法快速适应不断变化的市场条件。经验证实，MASA 框架在过去 10 年的 CSI 300 指数、道琼斯工业平均指数和标准普尔 500 指数上相比其他已知基于强化学习方法的方法表现出潜在优势，并为未来的研究提供了多个可能的方向。

Feb, 2024

本研究基于强化学习技术的理论基础和概念，对 29 篇相关研究进行了综合分析和比较，总结出了当前的系统设计最佳实践、需要进一步研究的领域和有前途的研究机会。此外，本文还试图通过帮助研究人员遵守标准和避免偏离强化学习构造的坚实基础来促进该领域的发展。

Nov, 2022

我们提出了一个采用深度强化学习的框架，通过相干畸变风险度量考虑模型不确定性的风险规避观点，并表明我们的公式等价于具有性能和安全保障的分布鲁棒安全强化学习问题，并展示了我们框架在 Real-World 强化学习套件中各种具有安全约束的连续控制任务上产生了稳健安全的表现。

Jan, 2023

本文提出了一种基于风险规避的探索策略，使用分布式鲁棒策略迭代方案来确保学习过程中的安全，并在连续状态 / 操作空间中扩展了此方法，得出了分布式鲁棒软演员 - 批评家算法的实用算法。

Feb, 2019

为了解决强化学习中的模拟到实际之间的差距，学习策略必须对环境不确定性保持鲁棒性。本研究着重于多智能体环境中学习分布鲁棒马尔可夫博弈，提出基于模型的 DRNVI 算法来学习各种博弈论平衡的鲁棒变种，同时建立了信息论下界以确认 DRNVI 的近乎最优样本复杂度。

Apr, 2024

通过在同一股票市场进行交易，该研究展示了利用混合深度神经网络作为策略的对抗智能代理能够对深度强化学习交易代理进行攻击，并且能够显著降低其奖励值，从而大幅减少基线系统、集成方法、以及工业合作伙伴开发的自动交易软件的潜在利润。

Sep, 2023