Jan, 2024

VizDoom 中的行为克隆

PDF
TL;DR通过只使用像素数据作为输入，本研究论文描述了训练自主智能体在游戏《毁灭战士 2》中通过模仿学习（IL）进行游戏的方法。我们还探讨了强化学习（RL）相对于 IL 在摄像机运动和轨迹数据方面的人类性，并通过行为克隆（behavioural cloning）研究了个体模型学习不同行为特征的能力。我们尝试模仿具有不同游戏风格的真实玩家的行为，发现我们可以训练出具有攻击性、被动性或比传统 AI 更接近人类的行为的智能体。我们提出了这些在视频游戏中引入更多深度和接近人类行为的方法。经过训练的 IL 智能体在我们的数据集中的表现与普通玩家相当，同时优于最差的玩家。尽管性能没有常见的 RL 方法强，但它为智能体提供了更强的接近人类行为特征。
发现论文，激发创造
  • ViZDoom：面向视觉强化学习的 Doom 人工智能研究平台

    本文介绍了一个新的基于第一人称视角和半现实三维场景的深度强化学习测试平台 ViZDoom，使用神经网络和经验回放的方法来训练有人类一样行为的游戏 AI，结果证实了 ViZDoom 作为人工智能研究平台的有效性，且三维真实场景内的视觉强化学习是可行的。

    May, 2016

  • ViZDoom 竞赛：从像素中玩转毁灭之日

    该论文介绍了 2016 年和 2017 年的 Visual Doom AI Competition，这是第一个在第一人称射击游戏中使用视觉信息进行多人死亡竞赛的挑战。文章讨论了比赛规则，解决方案，结果和统计数据，给出了代理行为的深入理解，最终表明，尽管强化学习能够生成具有能力的 “毁灭之日” 机器人，但它们仍无法成功地在此游戏中与人类竞争。此外，本文还重新审视了 ViZDoom 环境，这是一个灵活，易于使用且高效的 3D 平台，专门用于基于视觉的强化学习研究，基于知名的第一人称透视视角游戏 Doom。

    Sep, 2018

  • 使用行为克隆玩 Minecraft

    本文讲述了我们参加 MineRL 2019 比赛的经历，我们使用行为克隆的算法来预测人类玩家的行动并在最终排名中获得了第五名，同时我们也发现了这种方法性能会根据训练停止的时间而有明显变化，我们进行了更多的实验来研究不同的工程决策对性能的影响。

    May, 2020

  • 人类驱动动态数据集扩充改进行为克隆

    本文介绍了如何将行为克隆与人在环环学习相结合，利用一种新方法在模拟中允许专家随时控制代理并提供最优解，从而解决了行为克隆中的一些缺陷，提高了训练效率和降低了所需资源，实验表明该方法在定量评估和人类相似性方面都具有更好的效果。

    Jan, 2022

  • 基于人群的深度强化学习在第一人称多人游戏中达到人类水平的表现

    本研究提出了一个新颖的两层优化过程来训练共有多个独立的强化学习智能体，这些智能体仅使用 Q3A 视频游戏的像素和游戏得分作为输入，即使在富有挑战性的多智能体环境中互相协作和竞争，这些智能体也能够达到类人水平，并展现出人类般的行为表现。

    Jul, 2018

  • 嵌入式演示数据集搜索实现行为克隆

    使用潜空间索引演示数据集，成功地利用搜索技术实现基于行为克隆算法的控制，因此收获了具有人类特征、可以适应各种情境的代理行为，比现有的训练模型更加高效，具有无需任务适应等优点。

    Jun, 2023

  • IQ-Learn: 逆软 Q 学习用于模仿

    介绍了一种动态感知的逆强化学习方法 ——IQ-Learn，它通过学习单个 Q 函数来避免对抗性训练，并可在标准测试中取得最好的结果，比现有方法在所需的环境交互数量和高维空间可扩展性方面表现优异。

    Jun, 2021

  • 零样本模仿策略通过演示数据集搜索

    使用预训练的基础模型的潜在空间索引演示数据集，通过复制类似情境中的行为来解决具有计算成本的训练过程和策略适应问题，实验结果显示该方法在准确性和知觉评估方面明显优于基于学习的模型，能在 Minecraft 环境中以人类样式表现出智能行为。

    Jan, 2024

  • 通过对抗性模仿从动作捕捉学习人类行为

    本文介绍应用生成对抗性模仿学习方法，通过有限的高维仿人体运动演示数据，训练神经网络策略以产生类人的运动模式，并利用该方法构建子技能策略解决高维身体姿态控制任务。

    Jul, 2017

  • 分治学习模仿

    本文介绍了一种基于序列归纳偏置的，从专家轨迹的状态中模仿复杂机器人任务并实现优化的新算法，将复杂任务拆分成较小的技能，将技能训练为 (goal-conditioned policy)，以便能够逐个解决每个技能并连接技能以完成整个任务，同时证明了该方法经过了无须几个未经过训练的样例即可实现了非完整导航任务和复杂的仿真机器人操作任务。

    Apr, 2022