该文介绍了一种基于希尔伯特空间嵌入的分布表征方法，该方法利用再生核希尔伯特空间将分布映射到一个空间中，并扩展了一般支持向量机和其他核方法的整个内核方法库，为概率测量、统计推断、因果发现和深度学习等领域提供了广泛应用，并讨论了该方法的理论保证，应用和未来的研究方向。

May, 2016

本文介绍了使用 reproducing kernel Hilbert space embeddings of conditional distributions 与 vector-valued regressors 之间的等价关系，从而引入了一个自然的正则化损失函数以更好地理解和使用这种嵌入方法，并且通过向量回归方法的应用和导出推导生成了嵌入算法的最小一致收敛率 O (log (n)/n)，并在强化学习任务中得出了一个稀疏嵌入算法。

May, 2012

研究了采用非参数高斯过程先验的 UCRL 和后验抽样算法的在线学习方法在未知的连续状态和动作的马尔可夫决策过程中最小化后悔的问题，在频率设置下，通过对核函数诱导的函数的再生核希尔伯特空间的真实 MDP 的转移和奖励函数的成员进行变异，研究了这些算法的后悔边界问题，并突出了转移和奖励函数对学习性能的影响。

May, 2018

利用有限基数假设的预测状态表示学习算法，该文章将预测状态表示（PSR）推广到无限观察和动作的集合，并使用分布的希尔伯特空间嵌入来表示状态，从而提高了预测和更新模型的效率。

Sep, 2013

本文设计了一种在再生核希尔伯特空间（RKHSs）中的新型非参数 Bellman 映射，用于强化学习。该方法利用 RKHS 的丰富逼近性质，不依赖数据的统计属性，不需要马尔可夫决策过程的转移概率知识，并可以在没有训练数据的情况下进行操作。该方法还提供了一种变分框架来设计所提出的 Bellman 映射的自由参数，并证明了这些参数的适当选择可以产生几种常见的 Bellman 映射设计。作为应用，这些映射方法被用于解决自适应滤波中的异常值问题。通过在线策略迭代算法，在没有有关异常值的统计信息和训练数据的情况下，选择每个时间实例中 “最优” 系数 p，以实现最小均方 p - 误差法。在合成数据的数值测试中，该方法在大多数情况下表现出比几种强化学习和非强化学习方案更优越的性能。

Mar, 2024

通过对 RMDPs 中的敌对核进行特征化，我们提出了一种新颖的在线鲁棒 RL 方法，该方法近似敌对核并使用标准的（非鲁棒）RL 算法来学习鲁棒策略。特别是，该方法可应用于任何基础 RL 算法之上，可以轻松扩展到高维领域。在经典控制任务，MinAtar 和 DeepMind Control Suite 中的实验表明了我们方法的有效性和适用性。

Jun, 2023

该研究提出了一种非参数学习的策略，通过嵌入策略分布作为非递减的欧几里得空间中的特征，从而允许其搜索空间在非常高（可能无限）维的 RKHS（再生核希尔伯特空间）中定义。同时，通过在 RKHS 中计算的相似度度量，与 Adaptive H 技术相结合，实现优化动态环境下自主适应的最佳控制策略的非参数学习方法。实验证明，该方法在多个基准测试和一个配备动态变化环境的仿真机器人基准测试中优于 DDPG 和 TD3 方法。

Mar, 2022

本研究在探讨非平稳马尔可夫决策过程下的强化学习问题，针对低秩模型中存在未知表示的情况，提出了参数依赖的优化算法 PORTAL 和参数无关的改进版 Ada-PORTAL，通过样本复杂度进行理论分析并得出上界，证明了在非平稳性不显著时，这两种算法均能够以多项式样本复杂度实现任意小的平均动态次优差距。

Aug, 2023

本文提出一种自监督表示学习方法，通过正向预测目标同时学习环境状态和动作序列的嵌入表示，以提高强化学习的采样效率和策略学习性能。研究表明，使用本文提出的动作嵌入表示已经能够在低维状态下有效提高模型无关的强化学习的采样效率和峰值性能。同时，结合状态嵌入和动作嵌入表示可以在只进行 100-200 万次环境步骤的情况下，快速、高效地学习高质量的基于目标条件的连续控制策略。

Aug, 2019

我们引入了一个新的 HiP-MDP 隐藏参数马尔可夫决策过程的处理方式，它能够通过低维度的潜在嵌入来建模相关任务的家族。我们采用贝叶斯神经网络来替换原模型中的高斯过程，从而使推理更具可扩展性，我们正确地模拟了潜在参数和状态空间中的联合不确定性，并扩大了 HiP-MDP 的应用范围，可以应用于维度更高且具有更复杂动态的问题。

Jun, 2017