尺度不变的时间历史（SITH）：在不确定的世界中过去的最佳切片
研究在线持续学习范式下，使用经验回放（ER）对抗内存与计算约束时，新添加的类别在ER下表示的变化，通过实证分析验证减轻高度干扰参数更新的新方法。该方法采用不对称更新规则，有利于在任务边界时避免遗忘。在标准持续学习基准测试中，与强基线方法相比取得了显著提高。
Apr, 2021
Expire-Span is a method that utilizes attention mechanisms to retain important information, forget irrelevant information and achieve strong performance on long term sequence modeling and reinforcement learning tasks.
May, 2021
提出一种层次式分块注意力记忆（HCAM）来解决深度强化学习事务中遗忘的问题，该方案在长期记忆、保持和推理记忆、元学习、代理性能等方面获得了显著的提升，同时也提高了样本效率、泛化性和广泛性。
May, 2021
本文提出了一种基于自监督机制的方法(TempAl)，通过自动化的历史状态表示，在Reinforcement Learning的非完全可观测环境中取得了比单独使用瞬时状态表示更好的结果，实验证明在49个Atari游戏中的35个游戏中取得了优异的成绩。
Apr, 2022
深度强化学习的关键是表示方法，这篇论文揭示了多种表示学习方法和理论框架之间的共同性，特别是基于自预测抽象的思想，并给出了学习自预测表示方法的最简算法和实用指南。
Jan, 2024
利用非可逆生成时序数据的 CAusal RepresentatIon的CaRiNG方法可可靠地识别因果关系过程，提高实际应用中的时间理解和推理能力。
Jan, 2024
在部分可观察环境中，学习历史表征是强化学习的核心挑战之一。本文通过未来预测的方式探究了历史表征学习的有效性，并证明了强化学习的性能与未来观察的预测准确性密切相关。同时，该方法可以阻止高方差嘈杂信号对表征学习的影响，显著改善整体端到端方法。通过在需要处理长时间历史的三类基准测试中验证了我们的观点。
Feb, 2024
研究使用视频数据进行决策预训练表示学习，讨论两种情景：观察中的独立同分布噪声和存在外部噪声的困难情景，验证了在不同情境中学习表征方法的样本复杂度和性能表现。
Mar, 2024
使用类型2推理能力的模拟人类智能的机器应该能够使用内部世界模型在多个层次的时空抽象和尺度上进行推理。本论文旨在解决人工智能和机器学习领域中存在的内部世界模型研究挑战，并提出了两种新的概率形式化方法，即隐藏参数状态空间模型和多时间尺度状态空间模型，以解决传统状态空间模型的局限性。这些概率形式化方法能够开发可扩展、自适应的分层世界模型，能够表示多个时间抽象和尺度上的非平稳动力学，并结合了世界状态的不确定性概念，从而提高系统模拟现实世界的随机性和预测结果的置信度。论文还讨论了这些形式化方法与贝叶斯大脑假设和预测处理的相关神经科学文献的一致性。我们对各种真实和模拟机器人的实验表明，我们的形式化方法在长期未来预测方面的性能与当代变压器变种相匹配，并在许多情况下超越其性能。最后，我们对当前模型的局限性进行了总结，并提出了未来研究的方向。
Apr, 2024