AAAIJan, 2023

基于神经符号元强化学习的交易模型

PDF
TL;DR本文探讨了在存在概念漂移的情况下，使用元强化学习来进行短期金融交易，并提出了使用逻辑程序归纳来发现价格序列中经常出现的符号模式，以提高元强化学习算法的性能。通过对真实数据的实验，我们发现元强化学习算法比传统的强化学习算法表现更好，并且通过学习符号特征可以提高其性能。
发现论文，激发创造
  • 一阶逻辑中的神经符号强化学习

    为了在文本角色扮演游戏中实现快速收敛和可解释的知识表示，我们提出了一种新的基于逻辑神经网络的强化学习方法，该方法可以从文本观察中提取一阶逻辑事实并使用逻辑算子训练策略，实验结果表明该方法比其他基于神经元符号框架的方法更快收敛。

    Oct, 2021

  • MetaTrader: 一种融合多样策略的强化学习方法用于投资组合优化

    本文提出了一种基于元学习和深度增强学习的投资组合管理方法 MetaTrader，通过模仿不同的专家策略来获取适应不同市场的交易策略，并学习元策略来决定最适合的策略。实证结果表明，MetaTrader 在平衡利润和风险方面显著优于现有的基线模型，并通过彻底的消融研究验证了该方法组成部分的有效性。

    Sep, 2022

  • 元强化学习作为任务推断

    本文提出一种在元强化学习中用于解决任务信息受限问题的方法，通过利用各种特权信息，分别学习策略和任务信念来解决部分可观测马尔可夫决策问题，从而在元强化学习环境中较为有效地解决标准问题和需要长期记忆的复杂连续控制问题。

    May, 2019

  • RL$^3$: 通过 RL 内外的 RL$^2$ 提升元强化学习

    本文提出了一种 RL$^3$ 算法，该算法将 Task-specific action-values 作为 Traditional RL 学到的输入，并通过将 Traditional RL 和 Meta-RL 组合来在 Long-horizon 和 Out-of-distribution 任务中获得更高的累积回报。

    Jun, 2023

  • 基于模型的元强化学习方法：变压器和树搜索

    通过模型学习和在线计划，基于 Transformer 架构的模型算法在元强化学习问题的符号 Alchemy 环境中展示出比先前应用的基于模型无关的强化学习方法更好的性能，揭示了基于模型的方法在元学习的探索和利用方面的相关性和变现出复杂动态的 Transformer 架构的效率。

    Aug, 2022

  • 强化学习学习

    本文提出了一种名为深度元强化学习的方法，该方法使用递归网络，在一个强化学习算法上进行训练，但其递归动态实现第二个、完全分离的强化学习过程，通过一系列七个验验证明了这种方法的潜在优势并提出了其可能引发的神经科学方面的重要影响。

    Nov, 2016

  • 神经符号元强化先行学习在非静态环境中实现安全的自动驾驶

    该研究介绍了一种基于神经符号元强化前瞻学习（NUMERLA）的在线元强化学习算法，采用前瞻更新机制实现了自动驾驶模型在非稳态城市人车交互场景下的实时适应性和安全性。

    Sep, 2023

  • 全面神经符号视觉强化学习与语言解释

    该研究介绍了一种神经符号强化学习（Neuro-symbolic reinforcement learning，NS-RL）的框架，通过将视觉基础模型精简为可扩展的感知模块，可以同时学习结构化状态和符号策略，并使用大型语言模型生成简明易读的策略和决策解释，实验结果显示在九个 Atari 任务中，该方法相比现有的 NS-RL 方法获得显著的性能提升，并展示了策略和决策的解释。

    Mar, 2024

  • 从对称性学习：具有对称数据和语言指示的元强化学习

    提出了一种双 MDP 元强化学习方法，该方法将语言指令和对称数据结合到元 RL 中，能够显著提高元强化学习的泛化能力和学习效率。

    Sep, 2022

  • 基于数据跨分割的强化学习算法交易中的改进泛化

    在这项研究中，我们提出了一种用于算法交易的强化学习（RL）算法，该算法基于来自学习预测模型的信号并解决了在薄交易金融市场和不同资产市场中交易策略必须考虑更难改变的持仓的长期影响这些挑战。我们在马来西亚证券交易所 20 多年的股票数据上测试了我们的算法。

    Jul, 2023