本篇综述涵盖了深度强化学习中模拟转真实环境的基本背景，包括不同方向的方法和应用场景，重点讨论了域随机化、域自适应、模仿学习、元学习和知识蒸馏等方法及其存在的机遇和挑战。

Sep, 2020

本文提出了一种基于实体机器人和物理模拟引擎相结合的 Real2Sim2Real 方法，可以在有限的数据下训练物理模拟引擎以发现转移的运动策略，并通过采用轨迹分段技术，计算接触点的非零梯度，并避免了训练过程中的梯度评估冲突。该方法在三根杆条张力机器人中得到了证明和评估

Sep, 2022

本文提出了一种基于纯视觉强化学习的插入任务解决方案，并提出了一种新颖的 Sim2Real 策略 Real2Sim，该策略在政策适应方面具有优势。

Jun, 2022

我们研究了使用表示学习进行机器人控制中的从仿真到实际的技能转移和发现。通过从马尔可夫决策过程的谱分解中获得灵感，我们得到了能够线性表示任何策略引发的状态 - 动作价值函数的表示，因此可以被视为技能。我们提出了一种处理动力学中仿真到实际差距的技能发现算法，从真实世界数据中学习由仿真到实际差距引起的新技能。我们通过强制要求学习的技能与来自仿真器的技能之间具有正交约束，并使用扩展的技能集合综合策略，来促进新技能的发现。我们通过将四旋翼控制器从仿真器转移到 Crazyflie 2.1 四旋翼上来展示我们的方法。我们展示了我们可以从单个仿真器任务中学习技能表示，并将其转移到包括悬停、起飞、降落和轨迹跟踪在内的多个不同实际任务中。我们的技能发现方法有助于缩小仿真到实际差距，并将实际控制器的性能提高了 30.2%。

Apr, 2024

本研究定义了一种易于重现的实验设置，用于比较四种随机化策略及三种随机参数在仿真和实验机器人上完成的任务。研究发现，完全随机生成仿真和精细调整策略可以更好地转移到现实机器人，并且比其他测试方法更有差异化的结果。

Jun, 2022

本文针对机器人在虚拟仿真与现实世界中路线规划准确性的差异问题开展研究，提出了一种新的仿真评估工具 ——Habitat-PyRobot Bridge，并设计了一种衡量预测准确度的新指标 ——Sim-vs-Real Correlation Coefficient，实验结果表明调整仿真参数可以提高预测准确性，有助于将虚拟仿真结果转化为现实世界中的效果

Dec, 2019

本文探讨了自动驾驶技术中的安全性和成本问题，并介绍了通过两种技术解决虚拟仿真与实际场景差异带来的问题的研究进展：从仿真到真实场景的知识迁移（sim2real）和数字孪生的学习。同时，对算法、模型、仿真器的最新发展进行了概述，阐述了 sim2real 和数字孪生对自动驾驶领域的深远影响。

May, 2023

在自主导航的地面机器人领域，现有的研究大多使用真实感的动力学和感知模型，而本篇论文致力于通过在仿真环境中进行端到端的训练，减小模型在现实机器人平台上的差距，并取得了显著的性能和稳健性的提升。

Jan, 2024

通过强化学习在模拟环境中训练机器人并结合补充奖励策略，与真实机器人进行进一步的微调来优化探索策略，实验结果表明，这种相互对齐的方法可以在真实和模拟环境中实现更好的性能。

Jul, 2017

该论文提出了一种强大的 DRL 框架，该框架利用特定于平台的感知模块来提取任务相关信息，并在模拟中训练车道跟踪和超车代理程序，从而促进了 DRL 代理程序对于新的模拟环境和真实世界的无缝转移并极大地缩小了不同平台之间的差距和模拟与现实之间的鸿沟，从而使训练代理程序在模拟和真实世界中能够高效地驾驶车辆。

Apr, 2023