模型集成是否必要？通过具有 Lipschitz 正则化值函数的单个模型实现基于模型的强化学习

ICLRFeb, 2023

模型集成是否必要？通过具有 Lipschitz 正则化值函数的单个模型实现基于模型的强化学习

Is Model Ensemble Necessary? Model-based RL via a Single Model with Lipschitz Regularized Value Function

Ruijie Zheng, Xiyao Wang, Huazhe Xu, Furong Huang

TL;DR本论文通过对 Lipschitz 连续性的解释，提供了两种实用的训练机制，通过计算敌对噪声和规范值网络的谱范数来直接规范价值函数的 Lipschitz 条件。实证结果表明，结合我们的机制，具有单个动态模型的基于模型的 RL 算法优于具有概率动态模型集合的算法。

Abstract

probabilistic dynamics model ensemble is widely used in existing model-based reinforcement learning methods as it outperforms a single dynamics model in both asymptotic performance and sample efficiency. In this paper, we provide both practical and theoretical insights on the empirical

probabilistic dynamics model lipschitz continuity value function model-based rl adversarial noise

发现论文，激发创造

使用概率动态模型进行少量试验的深度强化学习

本研究旨在利用基于不确定性的深度网络动态模型来提高回报函数学习算法的样本效率，并通过样本传播方法实现不确定性处理，从而解决参数化函数逼近器，如深度网络的性能下降问题，我们提出了一种名为 PETS 的新算法。与深度强化学习的先进算法进行比较，结果表明我们的方法可以在 Asymptotic Performance 上与模型自由算法匹配，并且在许多具有挑战性的基准任务中需要明显较少的样本数量（例如，在半猎豹任务中所需样本数量比 Soft Actor Critic 和 Proximal Policy Optimization 分别减少 8 倍和 125 倍）。

May, 2018

模型集成信任区域策略优化

通过使用深度神经网络同时学习模型和策略，我们分析了基于模型的增强学习方法的行为，并展示出学习到的策略倾向于利用模型学习不足的区域，导致训练不稳定。为了解决这个问题，我们提出使用模型集合来维护模型的不确定性并规范学习过程，并进一步展示，与 “Backpropagation through time” 相比，使用 “likelihood ratio” 导数可以获得更加稳定的学习。通过我们的方法 ME-TRPO，在具有挑战性的连续控制基准任务中，显著减少了比基于模型的深度 RL 方法所需的样本数量。

Feb, 2018

显式利普希茨值估计增强策略对扰动的稳健性

在机器人控制任务中，强化学习（RL）在模拟中训练的策略在部署到物理硬件上时常常出现性能下降的问题，本文研究了通过利普希茨正则化来改善近似值函数的梯度条件，从而提高训练后的鲁棒性。通过将利普希茨正则化与快速梯度符号方法相结合，我们的实验结果表明了这种方法在一些连续控制基准测试中的优势。

Apr, 2024

集成模型及其可证明鲁棒性

该研究分析和提供了证明鲁棒性的集成机器学习模型，其中多样化的梯度和大置信度边界被证明是实现可证书鲁棒模型的必要和充分条件。他们提出了基于多模型平滑策略的有界模型平滑度分析，并证明了集成模型在温和条件下可以始终比单一基础模型实现更高的可证书鲁棒性。他们提出了轻量级多样性正则化的训练用于训练证明的鲁棒集成机器学习模型，不仅比现有的单一模型和集成模型实现了更高的可证书的鲁棒性，还在 MNIST，CIFAR-10 和 ImageNet 数据集上实现了最先进的 L2 - 鲁棒性。

Jul, 2021

基于模型的价值估计，用于高效的无模型强化学习

本文提出了一种基于模型的价值拓展方法，通过限制想象的深度，控制模型的不确定性，提高了模型自由强化学习算法中学习价值估计的样本复杂度，针对连续控制任务使用了学习到的动态模型。

Feb, 2018

具有随机集合值扩展的样本有效强化学习

提出了一种名为 “随机集合价值扩展（STEVE）” 的新型基于模型的技术，通过动态插值来消除模型中的错误，与以往的基于模型的方法不同，该方法在复杂环境下不会降低性能，并在具有挑战性的连续控制基准测试中提高了一个数量级的样本效率。

Jul, 2018

深度自回归密度网络与神经集成在基于模型的离线强化学习中的比较

离线强化学习中，通过提供的系统转换数据进行策略优化；研究了基于模型的强化学习算法，并挖掘了模型学习的静态度量方法，以及模型错误对代理的最终性能的影响。

Feb, 2024

证明集合：一般具有 S-Lipschitz 的证明理论

介绍了一种称为 S-Lipschitz 分类器的新方法，用于分析集成模型的理论鲁棒性，并给出了集成模型比任何单个分类器更稳健的条件和更不稳健的条件。

Apr, 2023

SEERL: 高效率样本集成强化学习

本文提出了一种新的训练和模型选择框架，用于模型无关的强化学习算法，使用单次训练的策略集合。这些策略通过定向扰动模型参数在一定时间间隔内进行学习，选择一个足够多样化的策略集合对于得到一个好的集成模型来说是必需的。该框架具有显著的样本效率和低计算成本，且在 Atari 2600 和 Mujoco 中表现优异。

Jan, 2020

简化的时间一致增强学习

本文展示了一种简单的表示学习方法：只依赖于通过潜在时间一致性训练的潜在动态模型，既可以在计划类的强化学习中使用，也可以在基于模型的强化学习中作为策略和价值函数特征使用。该方法在高维度任务上优于模型无关方法，并在样本效率上达到了模型类方法的水平。

Jun, 2023