不必奖励：如何创建一个组成性的自我保存代理以进行终身学习
本文研究了内在激励方法——授权在外在奖励信号的增强学习中的应用，提出了一个授权奖励最大化的统一Bellman最优性原则，发展了基于授权的演员-评论家强化学习算法，并在高维连续机器人领域验证了其性能优于现有技术。
Jul, 2019
为了解决通过变分下界(VLB)计算确定性经验上均衡值(EEI)方法存在的繁琐、高成本等问题，本文采用了基于可训练的高斯信道来构建一种通用的无偏EM算法，提出了一种新型方法，能够在不考虑外在奖励的情况下，通过包含每个执行器和未来状态之间的量的交互信息来实现不同控制环境下的稳定性控制，而且该方法能够大大降低采样的复杂性，并展示了该方法的优点。
Jul, 2020
本文提出了一种基于 Intrinsic motivation 的强化学习方法，其奖励函数被定义为智能体状态与周围状态之间的互信息，实现了比以前的方法更好的效果，包括在没有任何任务奖励的情况下首次完成了 pick-and-place 任务。
Mar, 2021
通过代表愿景达成的功能感知状态表示进行的变分互信息最大化，能够为达到愿景状态的广泛应用的多任务策略的自监督强化学习提供框架和方法，同时还提出了广义GCRL和MI-Based RL的统一方法，即VGCRL，并结合方法的容量和光滑性分析了能力扩展，以及其与不同线性变换结构的潜在目标发现算法的比较评价指标，即LGR。
Jun, 2021
本研究探讨了一种基于信息理论的内在动机方法，通过最大化机器人行为的使能度来实现内在动机，该方法在基准控制问题上得到成功应用，有助于设计实用的人工内在动机控制器和将动物行为与其动力学特性联系起来。
Dec, 2022
该研究提出了一种使用变分贝叶斯理论桥接惯常性和目标导向性行为相互作用的框架，通过引入用于生成习惯性行为的意图先验分布和用于生成目标导向性行为的意图后验分布的贝叶斯潜变量，实现了两种行为的技能共享，并且其能够使代理程序轻松地从习惯性行为泛化到目标导向性行为。
Apr, 2023
本文研究了授权度量的时间尺度对其作为辅助目标加速NCA自我平衡的发现的影响，发现在短期内授权的NCA更加稳定且能够更好地适应未见的自我平衡挑战。
May, 2023
通用目标代理需要大量的技能。我们介绍了一种新的框架，层次赋权，在计算赋权时将自目标条件层次强化学习的概念整合进去，通过引入变分下界和层次结构计算赋权。这个框架的研究证实，我们的四级代理能够学习涵盖比之前工作大两个数量级的技能，以在模拟机器人任务中验证其贡献。
Jul, 2023
计算行为的目的性描述和规范性方面包括现行（或未来）世界状况的确定以及对于实现代理人目标的这些状态的可取性的评估；本文提出了一种关于有限代理人中状态表示学习的新理论框架，通过目标导向或目标性状态的概念将描述性方面与规范性方面相结合；我们定义了目标状态表示的一种新的可控性属性来表征其粒度与实现所有目标状态所需的策略复杂性容量之间的权衡；我们提出了一种学习可控状态表示的算法，并通过简单的导航任务演示其有效性；我们的框架强调了有意识地忽视某些信息的重要性，从而学习既具有目标灵活性又简单的状态表示；总体而言，我们的工作为通过目标的视角提供了自然学习和人工学习的统一理论观点迈出了具体的一步。
Jun, 2024