本篇综述涵盖了深度强化学习中模拟转真实环境的基本背景，包括不同方向的方法和应用场景，重点讨论了域随机化、域自适应、模仿学习、元学习和知识蒸馏等方法及其存在的机遇和挑战。

Sep, 2020

本文研究了在部分观测连续领域中的 Sim-to-real 转移，研究了使用线性二次高斯系统建模的仿真环境和真实环境，发现鲁棒对抗训练算法可以学习仿真环境下的策略，并相对于现实环境的最优策略非常具有竞争力。我们提出了一种针对无穷时间平均成本 LQGs 的新算法，并建立了根据模型类的内在复杂度的遗憾界，我们的算法关键地依赖于独立兴趣的新的历史剪辑方案。

Oct, 2022

通过强化学习在模拟环境中训练机器人并结合补充奖励策略，与真实机器人进行进一步的微调来优化探索策略，实验结果表明，这种相互对齐的方法可以在真实和模拟环境中实现更好的性能。

Jul, 2017

该研究提出了一种自监督视觉深度强化学习方法，使得机器人可以有效地在模拟环境和真实环境之间直接转移训练模型，并特别设计了一种高度敏感的行动策略用于处理拥挤和堆叠的物体，实验证明即使没有经过实际环境微调，该模型在真实吸附任务中的吸附成功率也能保持较高，还能在真实实验中吸附新物体并保持 90% 的成功率。

Sep, 2023

本论文提出了基于深度神经网络的强化学习在机器人抓取任务中的应用，以及利用生成模型进行图像仿真与真实环境之间的过渡。其中引入了 RL-scene 一致性损失用于图像翻译，可保证翻译操作是不变的，并在实现无监督领域转换的同时，训练出了 RL-CycleGAN 模型，该模型表现出了模拟到现实环境下最优的效果。

Jun, 2020

使用仿真技术最小化对真实世界交互的需求，在少样本离线动力学设置下，引入了一种新方法，通过惩罚来限制仿真训练策略引发的轨迹，以解决常规强化学习代理倾向于利用仿真不准确性的挑战。在各种环境中评估了我们的方法，包括代表不同仿真到真实条件的高维系统，并且在大多数测试场景中，我们的方法相比现有基线模型表现出改进。

Dec, 2023

该论文提出了一种强大的 DRL 框架，该框架利用特定于平台的感知模块来提取任务相关信息，并在模拟中训练车道跟踪和超车代理程序，从而促进了 DRL 代理程序对于新的模拟环境和真实世界的无缝转移并极大地缩小了不同平台之间的差距和模拟与现实之间的鸿沟，从而使训练代理程序在模拟和真实世界中能够高效地驾驶车辆。

Apr, 2023

本文介绍了一种基于对抗特征调整模型的 3D 室内导航机器人训练方法，通过视觉特征的转换与行为策略的模仿来提高机器人在真实环境中的表现。实验证明该方法能够在不需要额外人工注释的情况下，比基线方法表现提高 19.47%。

Apr, 2019

该研究提出了一个基于深度强化学习和图卷积神经网络的跨界面学习框架，该框架在移动网络领域进行了 6 个场地试验，成功的将学习从模拟器中转移到了具有复杂实时限制和有限信息的实际应用场景中。

Feb, 2018

本文介绍了一种简单的方法来解决在模拟训练中的现实差距问题。通过在训练过程中随机化模拟器的动力学，我们能够开发出适应非常不同的动力学的策略，并且使其在真实世界中推广而不需要在物理系统上进行训练。在机器人控制方面，我们的方法在物体推动任务上表现出了很好的性能。

Oct, 2017