Nov, 2022

Pac-Man Pete: 一个可扩展的框架，用于在 VEX 机器人中构建 AI

PDF
TL;DR该技术报告介绍了 VEX 机器人团队 BLRSAI 开发的完全自主机器人，用于 VEX Robotics' Tipping Point AI 竞赛，包括 Unity 模拟和强化学习模型训练管道、可变的计算机视觉管道和数据传输管道以及对外部计算机的大型计算的卸载。我们希望给社区提供所有这些组件，以希望他们将来可以重新使用和改进它们，同时激发新的自主性想法以及教育机器人的 AI 所需的基础设施和程序。
发现论文，激发创造
  • Polycraft World AI Lab（PAL）：一个可扩展的人工智能代理评估平台

    介绍了 Polycraft World AI Lab，它是一个基于 Minecraft 模组的任务模拟器，为不同架构的人工智能代理提供 API，允许在多种任务中进行交互、训练和评估，该平台具有灵活的建立任务的方式和评估期间操作的记录，是一个通用且易于使用的人工智能评估平台。

    Jan, 2023

  • PACT: 感知 - 行为因果变换器用于自回归机器人预训练

    本研究提出了 PACT（Perception-Action Causal Transformer）范式，通过自监督方法直接利用机器人数据来构建机器人的自身表示，并在移动机器人领域进行了实证研究。研究结果表明，通过共享一个好的自身表示，我们可以降低整个模型的容量并加速实时部署这些系统。

    Sep, 2022

  • 深度交互式动作预测与规划：通过动作预测模型进行游戏

    本研究提出一种多智能体策略网络和博弈论模型预测控制器相结合的方案，将自动驾驶车辆的预测和规划层紧密耦合，能够有效生成交互行为。

    Apr, 2022

  • 深度视觉预见性规划机器人动作

    本论文提出一种基于无标注训练数据的方法，结合深度动作条件视频预测模型和模型预测控制，使真实机器人能够进行非抓取操作，比如推动物体，并且可以处理训练过程中没有出现过的新物体。

    Oct, 2016

  • FlowBot3D：学习 3D 关节流来操纵关节对象

    采用基于视觉的系统和神经网络，我们提出了一种使用密集的向量场来预测各种关节物体的潜在运动的方法，并在此基础上展开手部的运动规划用于操纵各种对象，实验结果表明该系统在模拟和现实世界中均取得了最优良好的表现。

    May, 2022

  • 基于像素的端到端深度主动推断在身体感知和动作中的应用

    我们提出了一种基于像素的深度主动推理算法 (PixelAI)，它受到人类身体感知和动作的启发。这种算法将来自神经科学的自由能原理与深度卷积解码器相结合，以直接处理原始视觉输入并提供在线自适应推理。我们的方法通过研究模拟和真实的 Nao 机器人中的身体感知和动作进行验证。结果显示，我们的方法允许机器人通过单眼摄像头图像动态地估计其臂的位置，并自主地朝着 “想象” 的外部位置进行运动，这表明机器人和人类的身体感知和行动可以通过将二者视为由不断的感官输入引导的主动推理问题来有效地解决。

    Dec, 2019

  • 末端到端的视觉运动控制的可供性学习

    采用模块化神经网络体系结构，利用合成数据和模拟技术，通过低维潜在表示生成场景可用性，成功训练机械臂政策。同时，提出了一种数据集生成方法，可轻松推广到新任务、对象和环境，无需手动像素标记。

    Mar, 2019

  • 深度强化学习下的模型预测行动者 - 评论家算法：加速机器人技能获取

    介绍了一种基于模型预测控制的混合模型学习和无模型学习方法，名为 MoPAC，通过探索 / 利用以减轻模型偏差，可以实现真实机器人的训练。该方法使用优化轨迹指导策略学习，并且在需要时进行探索。通过实验，MoPAC 方法优于当前最先进的方法，适用于真实机器人的训练，同时为物体夹取、操作和重新夹取等复杂任务提供了一种优化技能学习的解决方案。

    Mar, 2021

  • PIC4rl-gym：一个用于机器人深度强化学习自主导航的 ROS2 模块化框架

    本文介绍了一个模块化框架 PIC4rl-gym，通过融合 ROS2 和 Gazebo 以及深度强化学习技术，提高自主导航的灵活性、效率和计算成本，实现智能体的训练和测试，并通过基于完整的指标集选择不同的导航任务进行基准测试。

    Nov, 2022

  • 基于端到端演示学习的基于视觉的廉价机器人多任务操作

    以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。

    Jul, 2017