Oct, 2023

利用傅立叶变换进行状态序列预测的表示学习

PDF
TL;DR通过 Fourier 变换，我们提出了 State Sequences Prediction via Fourier Transform (SPF) 方法，用于在时间序列数据中提取结构信息，以实现数据高效的 RL，实验证明该方法在样本效率和性能方面优于多种现有算法。
deep reinforcement learningsample efficiencyrepresentation learningstate sequences predictionfourier transform
发现论文，激发创造
  • 频谱状态空间模型

    本文研究具有长距离依赖的预测任务的序列建模，提出了一种基于谱滤波算法学习线性动力系统的状态空间模型的新形式。这一提议产生了一种名为谱状态空间模型的新型序列预测架构，通过对合成动力系统进行评估，支持了谱滤波在需要非常长远记忆的任务中的理论优势。

    Dec, 2023

  • 自我预测表示法的数据有效强化学习

    本文提出了自回归表示 (Self-Predictive Representations, SPR) 方法，使用深度强化学习方法，并结合自监督目标和对视觉输入和与环境的交互结构的预测，提高了代理器的学习效率，并在 Atari 游戏中显著提高了性能。

    Jul, 2020

  • 长序列处理中的状态空间建模：对 Transformer 时代中的循环的调查

    对基于循环模型的顺序数据处理的最新方法进行了深入总结，并提供了关于体系结构和算法解决方案的完整分类，引导研究者在这一吸引人的研究领域进行进一步研究。

    Jun, 2024

  • 无状态推断的状态空间模型：传递函数方法

    我们通过它的对偶表示 - 传递函数，设计了一种适用于深度学习应用的状态空间模型，并揭示了一种高度有效的序列并行推理算法，该算法是无状态的，与状态大小的增加相比，不会产生任何显著的内存和计算开销。

    May, 2024

  • 通过学习的傅里叶特征对强化学习进行功能正则化

    本文提出了一种基于傅里叶基的深度强化学习简单架构，通过理论和实验探究，发现学习傅里叶特征可以调整网络欠拟合和过拟合的程度，从而提高强化学习的性能和稳定性。

    Dec, 2021

  • 利用预测状态表示关闭学习和规划循环

    本文提出并演示了一种精确学习环境模型的新算法，该算法从行动 - 观测对的序列中直接学习此类环境的模型，并通过在学习的模型中进行规划并恢复一个接近原始环境的最优策略实现从观测到行动的闭环。

    Dec, 2009

  • 强化学习的谱分解表示

    本文提出了一种名为 SPEDER 的替代谱方法，它从动态中提取状态 - 动作抽象，同时平衡学习过程中的探索与利用，并在在线和离线设置中证明了其样本效率及在多项基准测试中的优越性能。

    Aug, 2022

  • 傅立叶控制网络用于实时决策的具象学习

    通过在机器人轨迹的频域中提取和编码时变特征的短时傅里叶变换 (STFT)，傅里叶控制器网络 (FCNet) 实现了实时决策的并行训练和高效的循环推断，比传统方法如 Transformer 在各种大小的多环境机器人数据集上的效率和有效性更高。

    May, 2024

  • 通过模仿自然序列中的动态进行视觉预测

    我们引入了一种通用的视觉预测框架，旨在直接模仿视觉序列而不需要额外的监督。我们通过将视觉预测转化为逆强化学习问题，并通过可训练的深层特征表示扩展最近的进展来解决计算瓶颈。我们在低级像素到高级语义的三个不同级别上评估了我们的方法，在所有级别上，我们的方法都优于现有的方法。

    Aug, 2017

  • 决策 S4：通过状态空间层实现高效基于序列的强化学习

    本研究提出两种算法：一种通过轨迹实现离线训练，另一种通过一种基于稳定 Actor-Critic 机制的循环训练方法实现在线训练，实验结果证明该方法优于多种变体的决策 Transformer 以及其他基准方法，同时降低了延迟、参数数量和训练时间，更适用于现实世界的 RL。

    Jun, 2023