Roll-Drop：用单参数解决观测噪声的计算

Apr, 2023

Roll-Drop：用单参数解决观测噪声的计算

Roll-Drop: accounting for observation noise with a single parameter

Luigi Campanaro, Daniele De Martini, Siddhant Gangapurwala, Wolfgang Merkt, Ioannis Havoutis

TL;DR本文提出一种名为 Roll-Drop 的深度强化学习（DRL）的简单策略，通过在模拟期间使用 dropout 来考虑观察噪声，而不需要为每个状态显式地建模其分布。我们演示当将高达 25％的噪声注入观测后，成功率达到 80％，其鲁棒性比基线提高了一倍。在实际机器上部署受过训练的控制器并评估了所述的改进鲁棒性。

Abstract

This paper proposes a simple strategy for sim-to-real in Deep-Reinforcement Learning (DRL) -- called roll-drop -- that uses dropout during simulation to account for →

deep-reinforcement learning roll-drop simulation observation noise robot control

发现论文，激发创造

随机帧丢失下的决策变换器

本文提出了一种名为 “基于随机帧丢失的决策变换器” 的离线强化学习算法，可以使代理在帧丢失场景下稳健地行动，同时不需要在线交互数据，该算法通过随机掩蔽离线数据并显式地添加帧丢失的时间跨度作为输入，使用相同的离线数据集进行微调，可以在严重的帧丢失率下优于强基线，同时在常规的 MuJoCo 控制基准和 Atari 环境中具有相似的回报。该方法提供了一个稳健和可部署的解决方案，以控制在具有有限或不可靠数据的实际环境中的代理。

Mar, 2023

动态随机化的机器人控制的仿真到实际转移

本文介绍了一种简单的方法来解决在模拟训练中的现实差距问题。通过在训练过程中随机化模拟器的动力学，我们能够开发出适应非常不同的动力学的策略，并且使其在真实世界中推广而不需要在物理系统上进行训练。在机器人控制方面，我们的方法在物体推动任务上表现出了很好的性能。

Oct, 2017

学习和部署具有最小动力学随机化的健壮运动策略

通过引入随机力注入的策略，该研究为解决深度增强学习中数据收敛需求高问题提供了简单有效的方案，并成功将该方法用于四足机器人模拟模型到真实模型的转移。

Sep, 2022

DiAReL: 机器人控制中的扰动感知鲁棒性 Sim2Real 策略迁移强化学习

本文研究了引入扰动估计的延迟条件下，通过扩展状态空间的方式应用马尔可夫决策过程的新方法，可以提高机器人控制的稳定性和鲁棒性。

Jun, 2023

参数空间噪声用于探索

通过将参数噪声与传统深度强化学习方法相结合，可以在高维离散行动环境和连续控制任务中比传统深度强化学习方法和进化策略更有效地学习，并且在离散和连续领域中参数噪声会比动作空间噪声更优秀。

Jun, 2017

机器人深度强化学习中的模拟到真实转移：一项调查

本篇综述涵盖了深度强化学习中模拟转真实环境的基本背景，包括不同方向的方法和应用场景，重点讨论了域随机化、域自适应、模仿学习、元学习和知识蒸馏等方法及其存在的机遇和挑战。

Sep, 2020

学习模拟

本研究提出了一种基于强化学习的方法，用于自动调整非可微模拟器的参数，从而控制合成数据的分布以最大化模型的精度，相较于现有技术，该方法全面控制模拟器以最大化精度。

Oct, 2018

融合丢失不确定性和轨迹采样的实用概率模型深度强化学习

本研究提出了一种基于神经网络的概率模型强化学习方法，利用 Monte-Carlo dropout 和轨迹采样相结合的 DPETS 框架来稳定预测系统不确定性，并通过设计适应神经网络拟合误差的损失函数实现更准确的概率模型预测。在评估中，DPETS 在多个控制任务中表现优于相关 MBRL 方法和无模型基准，并实现了显著的样本效率提高。

Sep, 2023

通过 Dropout 扩展基于学习的政策优化算法以适用于时间相关任务

该论文介绍了一种基于模型的方法，用于针对高度非线性环境中的自主代理训练反馈控制器。我们希望该训练策略确保代理满足以离散时间信号时序逻辑（DT-STL）表达的特定任务目标。为了解决长时间跨度任务目标的问题，我们引入了一种基于随机梯度近似算法的梯度近似算法，并提出了适用于复杂规范的 DT-STL 的新的平滑语义。

Mar, 2024

BADDr: 基于贝叶斯适应性的深度 Dropout RL 用于 POMDPs

本文提出了一种表示无关的、针对部分可观测情况下的贝叶斯强化学习的理论框架，并提出了一种基于 dropout 网络的新方法 BADDr，旨在解决 BRL 方法在拓展性上存在的瓶颈，并证实其在处理规模较大的情况时的有效性。

Feb, 2022