本篇综述涵盖了深度强化学习中模拟转真实环境的基本背景，包括不同方向的方法和应用场景，重点讨论了域随机化、域自适应、模仿学习、元学习和知识蒸馏等方法及其存在的机遇和挑战。

Sep, 2020

通过强化学习在模拟环境中训练机器人并结合补充奖励策略，与真实机器人进行进一步的微调来优化探索策略，实验结果表明，这种相互对齐的方法可以在真实和模拟环境中实现更好的性能。

Jul, 2017

使用仿真注入的图像观测作为特权信息，通过教师 - 学生模型蒸馏，本文提出了 TWIST 方法，在基于模型的强化学习任务中实现高效的仿真到实际转移，并在仿真和实际机器人任务中表现出更高的样本效率和任务性能。

Nov, 2023

提出了一种基于师生课程学习的强化学习方法，该方法独立于人类领域知识和手动课程设置，可以改善学生的样本效率和通用性。

Oct, 2022

本文研究应用 Imitation Learning 和 transfer learning 方法解决 Duckietown 场景下的机器人车道跟踪问题，并通过 sim-to-real 方法进行实际环境迁移，最终比较了三种 Imitation Learning 方法和两种 sim-to-real 方法的优缺点。

Jun, 2022

提出了使用 Reverse Action Transformation（RAT）策略的方法来解决模拟到现实世界之间的转换问题，并且和其他基线模型相比，在连续控制任务中可实现零样本适应。

Feb, 2023

本文研究了在部分观测连续领域中的 Sim-to-real 转移，研究了使用线性二次高斯系统建模的仿真环境和真实环境，发现鲁棒对抗训练算法可以学习仿真环境下的策略，并相对于现实环境的最优策略非常具有竞争力。我们提出了一种针对无穷时间平均成本 LQGs 的新算法，并建立了根据模型类的内在复杂度的遗憾界，我们的算法关键地依赖于独立兴趣的新的历史剪辑方案。

Oct, 2022

本论文提出了一种基于元学习的方法，在使用任务特定轨迹生成模型提供动作空间以便快速探索的同时，训练机器人智能体以适应各种动态条件，以解决现代强化学习方法低样本效率和不安全探索的问题。我们通过在仿真环境中进行域适应并分析适应过程中潜在空间的结构来评估该方法。然后，在 KUKA LBR 4 + 机器人上应用此策略，并在将曲棍球击向目标的任务中评估其性能。实验结果表明，与基准表现相比，这种方法具有更一致和稳定的域适应性，从而获得了更好的整体性能。

Sep, 2019

使用大规模语言模型（LLMs）自动构建适合真实世界转化的奖励函数和域随机化分布的 DrEureka 方法可用于解决四足动作和灵巧操纵等机器人任务，且无需迭代式手动设计。

Jun, 2024

本文介绍了一种简单的方法来解决在模拟训练中的现实差距问题。通过在训练过程中随机化模拟器的动力学，我们能够开发出适应非常不同的动力学的策略，并且使其在真实世界中推广而不需要在物理系统上进行训练。在机器人控制方面，我们的方法在物体推动任务上表现出了很好的性能。

Oct, 2017