Feb, 2024

视频游戏实现的无仿真器视觉领域随机化

PDF
TL;DRBehAVE 是一个视频理解框架，通过利用多样性的商用视频游戏作为领域随机化的来源，使用玩家行为来指导视频的对齐，从而实现基于一个第一人称射击 (FPS) 游戏的训练，在多个未见过的 FPS 游戏中成功传递玩家行为模式的零样本转移，并且在训练于不同类型游戏（如 Minecraft）的情况下，提高了基础模型到未见过的 FPS 游戏的零样本转移能力（最多达 22%）。
domain randomizationvideo understanding frameworkbehavetransferabilityfps games
发现论文，激发创造
  • 鲁棒的视觉从模拟到实际的机器人操作转移

    通过在模拟环境中学习视觉运动策略，我们提出了一种通过视觉域随机化方法来解决模拟与真实世界之间差异的问题，并在丰富的机器人操作任务中进行了基准测试。我们的方法在各种挑战性的操纵任务中取得了 93% 的成功率，并证明了模拟器训练的策略在真实场景中的视觉变化下具有更好的鲁棒性。

    Jul, 2023

  • 域随机化：从仿真到真实世界的深度神经网络转移

    探究了一种称为 “Domain Randomization” 的技术，该技术使用非真实随机纹理来训练深度神经网络对象定位器，使得该定位器在真实环境中表现出色，并且可以应用于机器人控制中。

    Mar, 2017

  • 强化学习的鲁棒视觉域随机化

    通过提出一种正则化方法，使得智能体在训练时只基于一个环境的变体进行训练，并在训练过程中对其学习到的状态表示进行正则化，以实现对不同领域的不变性，该方法比标准的域随机化技术更有效和鲁棒，并能实现相同的泛化分数。

    Oct, 2019

  • 行为视觉套件：通过模拟生成可定制的数据集

    介绍了 BEHAVIOR Vision Suite（BVS），它是一套用于生成全面定制的合成数据以系统评估计算机视觉模型的工具和资源，并且支持在场景、对象和摄像机级别进行可调参数的任意变化，以执行可控实验。

    May, 2024

  • 机器人 VR 眼镜：基于实际到虚拟域适应的视觉控制

    本文提出了一种新颖的方法来解决从模拟环境到真实世界的深度强化学习策略传输问题，通过在部署阶段将真实世界的图像流翻译回合成域来解决这个问题，同时提出了一种不受下游任务影响的简单而有效的位移损失以及在室内和室外机器人实验中验证了我们的视觉控制方法。

    Feb, 2018

  • 领域随机化在物体计数中的应用

    本文提出一种使用基于合成数据集的域随机化方法进行物体计数的方法，避免了昂贵的 3D 艺术家手动生成照片般逼真的数据集，增加了数据集的多样性和泛化性，实现了较好的性能表现。

    Feb, 2022

  • 基于贝叶斯优化的高效领域随机化

    本文提出了一种 Bayesian Domain Randomization（BayRn）算法，通过采样真实世界目标域中的稀疏数据来适应性地调整源域分布参数，解决在机器人控制中遇到的模拟培训与真实世界之间存在的不匹配问题，实现了在模拟和真实环境下的任务优化。

    Mar, 2020

  • 领域随机化和金字塔一致性：无需访问目标域数据的模拟到实际泛化

    本文提出一种使用模拟技术进行自动驾驶场景语义分割的方法，通过域泛化的方式进行测试并实现了高度通用性，其中使用了域随机化和金字塔一致性两种技术，实现了域不变的特征表示。经过在 GTA，SYNTHIA 到 Cityscapes，BDDS 和 Mapillary 的广泛实验，本方法在一些状态和最先进的仿真转现领域自适应方法的测试结果表明，本方法实现了有竞争力、甚至优于其他方法的结果。

    Sep, 2019

  • 深度无人机比赛：从模拟到现实中的域随机化

    我们将最先进的规划和控制系统与卷积神经网络相结合，实现了自主机器人在动态环境中的高速飞行和对感知目标的实时认识，无需进行任何调整，同时通过领域随机化生成大量的模拟数据，使我们的系统对光照和目标出现变化具有鲁棒性，实现了在敏捷无人机飞行任务中的零次模拟到实际的成功展示。

    May, 2019

  • 策略优化的政策转移

    本研究提出了一种基于域随机化的控制策略迁移方法，通过同时学习多种不同行为的控制策略来应对目标环境与训练环境之间的差异，而无需对动态参数进行识别，实验表明该方法可以成功地解决模型误差较大的情况。

    Oct, 2018