Jan, 2023

资产配置的深度强化学习：奖励剪切

PDF
TL;DR本文旨在研究强化学习在资产配置中的应用，并比较了不同强化学习算法的表现，分析了每个模型的特点，引入了一种先进模型 Reward Clipping 并发现其在金融领域特别是投资组合优化中的优点更明显，特别是在牛市和熊市中。最后，本文将这些模型与传统投资策略在市场上升和下降期间的表现进行了比较。
reinforcement learningactor-only modelactor-critic modelppo modelreward clipping model
发现论文，激发创造
  • 深度强化学习的投资组合管理

    提出了一种以权重分配为中心的投资组合管理器，可以在后定格式市场上执行金融交易，并超过传统投资组合管理器的风险调整收益。

    May, 2024

  • 基于模型的深度强化学习在动态投资组合优化中的应用

    使用深层强化学习的自主交易代理设计动态投资组合优化模型，通过模型无关机器学习模块、生成式对抗数据增强模块以及行为克隆模块实现训练，对历史金融市场数据进行模拟交易，证明该模型相较于先前的交易策略是稳健的、盈利的和风险敏感的。

    Jan, 2019

  • ReLU 拯救：通过正 Advantage 改进你的 On-Policy Actor-Critic 模型

    本文介绍了一种用于加强 on-policy 进行深度强化学习（DRL）算法的有效性的新方法，通过在价值函数估计中加入了保守性指标，同时使用 Thompson sampling 来实现谨慎探索，改进了现有算法，从而在多个基准中进行了严格的实证评估，并提供了理论证明，表明了新算法的可行性，特别是在多智能体强化学习中。

    Jun, 2023

  • 资产配置：从马尔科维茨到深度强化学习

    本研究探讨了在不同市场趋势下，基于现代投资组合理论和深度强化学习的优化技术在资产配置中的效果和可靠性，并提供了代码实现。

    Jul, 2022

  • 前沿投资拓展：面向投资组合优化的行业级深度强化学习

    本研究论文探讨了深度强化学习（DRL）在无市场偏见的资产类组合优化中的应用，将行业级方法与量化金融相结合。本文通过我们强大的框架实现了这种融合，不仅融合了先进的 DRL 算法与现代计算技术，还注重严格的统计分析、软件工程和法规合规性。据我们所知，这是第一项将金融强化学习与机器人学和数学物理领域的模拟到真实方法相结合的研究，从而为我们的框架和论证带来了独特的视角。我们的研究通过引入 AlphaOptimizerNet，一个专有的强化学习代理（和相应的库），达到高风险回报优化的目的，并且适用于各种资产类别和现实约束条件。这些初步结果突显了我们框架的实际有效性。随着金融行业越来越倾向于先进的算法解决方案，我们的研究将理论进展与现实适用性相结合，为这个技术驱动的未来提供了一个确保安全和稳健标准的模板。

    Feb, 2024

  • 部分观察多智能体环境下的演员 - 评论家策略优化

    本研究讨论了基于梯度上升的策略梯度和演员 - 评论家算法在部分可观测多智能体环境中的角色，并通过对零和不完全信息游戏等模型的建模来优化模型自由多智能体增强学习的表现。

    Oct, 2018

  • 强化学习的苦涩教训：行动者 - 评论家中的高估、过拟合和可塑性

    通过在多个仿真场景中测试超过 60 种不同的 off-policy 智能体，并结合最新的正则化技术，我们发现适当进行正则化的简单 Soft Actor-Critic 智能体在解决狗任务方面表现出稳健而优越的性能。

    Mar, 2024

  • 通过 DreamerV3 技巧提高 Proximal Policy Optimization 的奖励尺度鲁棒性

    基于模型方法 DreamerV3 的实验研究，揭示了 DreamerV3 的技巧在强化学习算法 PPO 中不适用的情况，同时还对技巧的实现方式及其对性能的影响进行了深入分析。

    Oct, 2023

  • 使用课程学习和奖励工程的近端策略优化解决实际优化问题

    我们通过课程学习原则和细致的奖励工程，使用近端策略优化（PPO）智能体对一个现实世界中的高吞吐量垃圾分类设施进行训练，以达到优化操作安全、优化处理量和最小化资源使用的竞争目标，并将其逐渐应用于更加复杂的环境动力学中，同时完善奖励机制，从而提高推理时间安全性并提高垃圾分类工厂的效率。

    Apr, 2024

  • CLARE: 离线反向强化学习中保守的基于模型的奖励学习

    该论文提出了一种名为 CLARE 的算法，该算法通过将 “保守性” 纳入学习的奖励函数并利用估计的动力学模型来解决离线逆强化学习中的奖励外推错误问题，其得到的学习奖励函数是高度可指导后续的学习，通过大量实验证明了 CLARE 相较于现有最先进算法在 MuJoCo 连续控制任务上的明显性能提升。

    Feb, 2023