将基于 Transformer 的深度强化学习与 Black-Litterman 模型相结合的投资组合优化

Feb, 2024

将基于 Transformer 的深度强化学习与 Black-Litterman 模型相结合的投资组合优化

Combining Transformer based Deep Reinforcement Learning with Black-Litterman Model for Portfolio Optimization

Ruoyu Sun, Angelos Stefanidis, Zhengyong Jiang, Jionglong Su

TL;DR将深度强化学习代理与 Black-Litterman 模型相结合，能使代理学习到资产回报之间的动态相关性，并基于这种相关性实施高效的多头 / 空头策略。在由真实世界美国股票市场数据构建的投资组合上进行的实证结果表明，我们的深度强化学习代理在累积回报方面至少比各种对比投资组合策略和其他深度强化学习框架提高了 42%。在单位风险回报方面，我们的深度强化学习代理在各种对比投资组合策略和其他机器学习框架基础上明显更优。

Abstract

As a model-free algorithm, deep reinforcement learning (DRL) agent learns and makes decisions by interacting with the environment in an unsupervised way. In recent years, DRL algorithms have been widely applied by scholars for portfolio optimization in consecutive trading periods, sinc

deep reinforcement learning portfolio optimization dynamic correlation black-litterman model return per unit of risk

发现论文，激发创造

基于模型的深度强化学习在动态投资组合优化中的应用

使用深层强化学习的自主交易代理设计动态投资组合优化模型，通过模型无关机器学习模块、生成式对抗数据增强模块以及行为克隆模块实现训练，对历史金融市场数据进行模拟交易，证明该模型相较于先前的交易策略是稳健的、盈利的和风险敏感的。

Jan, 2019

前沿投资拓展：面向投资组合优化的行业级深度强化学习

本研究论文探讨了深度强化学习（DRL）在无市场偏见的资产类组合优化中的应用，将行业级方法与量化金融相结合。本文通过我们强大的框架实现了这种融合，不仅融合了先进的 DRL 算法与现代计算技术，还注重严格的统计分析、软件工程和法规合规性。据我们所知，这是第一项将金融强化学习与机器人学和数学物理领域的模拟到真实方法相结合的研究，从而为我们的框架和论证带来了独特的视角。我们的研究通过引入 AlphaOptimizerNet，一个专有的强化学习代理（和相应的库），达到高风险回报优化的目的，并且适用于各种资产类别和现实约束条件。这些初步结果突显了我们框架的实际有效性。随着金融行业越来越倾向于先进的算法解决方案，我们的研究将理论进展与现实适用性相结合，为这个技术驱动的未来提供了一个确保安全和稳健标准的模板。

Feb, 2024

深度强化学习的投资组合管理

提出了一种以权重分配为中心的投资组合管理器，可以在后定格式市场上执行金融交易，并超过传统投资组合管理器的风险调整收益。

May, 2024

评估深度强化学习在在线投资组合管理中的稳健性

近年来，深度强化学习在在线组合选择中的应用得到了广泛的关注。我们提出了一个新的培训和评估过程以评估古典深度强化学习算法在组合管理中的表现，发现大多数深度强化学习算法不够健壮，策略泛化能力差，在回归测试期间很快退化。

Jun, 2023

数字资产投资组合管理与风险评估的深度学习预测分析优化

在这篇论文中，作者介绍了 DQN 算法在资产管理组合中的创新和直接应用，并且表明 DRL 算法在投资组合管理中的有效性，同时提出了通过添加约束条件来改善结果的建议。

Feb, 2024

深度强化学习在环境、社会和准则金融投资组合管理中的应用

对于以深度强化学习（DRL）为基础的环境、社会和治理（ESG）金融投资组合管理，重点研究了 ESG 评分市场监管的潜在益处。研究结果表明，在以 ESG 评分为基础的市场监管中，DRL 代理在表现上优于标准的道琼斯工业平均指数（DJIA）市场设置，并且 ESG 因素在投资组合管理决策中起到重要作用。

Jun, 2023

基于深度策略梯度方法的商品交易

深度强化学习方法在算法性商品交易中的有效性进行了研究，提出了一种新的离散化方案，通过优化交易成本和风险敏感的交易代理来提高 DRL 模型的性能，并且该模型在天然气期货交易中表现出较高的夏普比率及一定的风险自定义能力。

Aug, 2023

基于模型的深度强化学习电压控制策略高效学习

提出了一种基于模型的深度强化学习方法，用于设计短期电压稳定性问题的紧急控制策略，并使用基于深度神经网络的动态代理模型进行训练，最终在 IEEE 300 总线测试系统上实现了 97.5% 的样本效率和 87.7% 的训练效率。

Dec, 2022

MetaTrader: 一种融合多样策略的强化学习方法用于投资组合优化

本文提出了一种基于元学习和深度增强学习的投资组合管理方法 MetaTrader，通过模仿不同的专家策略来获取适应不同市场的交易策略，并学习元策略来决定最适合的策略。实证结果表明，MetaTrader 在平衡利润和风险方面显著优于现有的基线模型，并通过彻底的消融研究验证了该方法组成部分的有效性。

Sep, 2022

深度强化学习解决管理问题：迈向大型管理模式

我们引入了一种深度强化学习 (DRL) 方法来解决包括库存管理、动态定价和推荐等管理问题。这种 DRL 方法有潜力基于特定的变压器神经网络结构构建一个大型管理模型，从而为各种管理任务提供一种人工通用智能范式。我们的方法能够统一框架下解决问题，考虑不同任务之间的相互关系。实验结果验证了我们基于 DRL 的框架在复杂和动态的商业环境中的有效性。这项工作为 DRL 在管理问题中的应用开辟了新的道路，突显了其改革传统商业管理的潜力。

Mar, 2024