Dec, 2019

基于像素的端到端深度主动推断在身体感知和动作中的应用

PDF
TL;DR我们提出了一种基于像素的深度主动推理算法 (PixelAI)，它受到人类身体感知和动作的启发。这种算法将来自神经科学的自由能原理与深度卷积解码器相结合，以直接处理原始视觉输入并提供在线自适应推理。我们的方法通过研究模拟和真实的 Nao 机器人中的身体感知和动作进行验证。结果显示，我们的方法允许机器人通过单眼摄像头图像动态地估计其臂的位置，并自主地朝着 “想象” 的外部位置进行运动，这表明机器人和人类的身体感知和行动可以通过将二者视为由不断的感官输入引导的主动推理问题来有效地解决。
pixelaiactive inferencevariational inferencerobot visionbody perception
发现论文，激发创造
  • 面向人形机器人的积极推断身体感知和动作

    通过在仿生系统中应用主动推理身体感知和行为模型，能够在机器人上实现适应性身体感知和动作，并分析该方法适用于现实世界的交互。

    Jun, 2019

  • 机器人中神经科学启发的感知行为：应用主动推理进行状态估计，控制和自我感知

    通过神经科学发现，活性推理是提升机器人算法在适应性、鲁棒性、灵活性、基础理解、安全交互等方面的潜在解决方案，通过模拟实际机器人平台的研究实验，揭示了机器人感知上的挑战和限制。

    May, 2021

  • 深度主动推断用于部分可观测的马尔可夫决策过程

    本文介绍了一种基于 Deep Active Inference 的深度学习架构，结合 Variational Autoencoder 编码连续状态表示，可以直接从高维感觉输入中学习成功策略，并在 OpenAI 基准测试中证明其与深度强化学习算法：Deep Q-learning 相比具有相当或更好的性能。

    Sep, 2020

  • Where2Act: 基于像素的 3D 关节目标对象动作预测

    本文提出一种基于深度学习的方法，通过对物体的可动部分及其所需的操作进行分析，从图像中提取高度本地化的操作信息，从而实现对视觉场景的语义理解。

    Jan, 2021

  • 基于导航提议的深度主动感知目标检测

    深度学习已经在机器人视觉任务中取得了显著进展，但大多数现有的深度学习方法依赖于传统的计算机视觉流水线中固有的静态推理范例。最近的研究发现，积极感知通过超越这些静态模式来改善各种模型的感知能力。本文提出了一个通用的监督式积极感知流水线，用于目标检测，可以使用现有的现成目标检测器进行训练，同时利用仿真环境的进展。为此，所提出的方法采用了额外的神经网络架构，在目标检测器置信度不足时估计更好的视点。所提出的方法在 Webots 机器人模拟器构建的合成数据集上进行了评估，展示了在两种目标检测情况下其有效性。

    Dec, 2023

  • 用深度主动推理技术实现自主机器人导航

    本文介绍了活跃推理的理论，并利用深度学习的最新进展，构建能够处理高维传感器数据并进行主动推理的复杂生成模型，这是深度主动推理在真实世界机器人导航任务中的首次应用。

    Mar, 2020

  • 基于像素的离散控制深度主动推理：在汽车赛车问题上的评估

    本研究探讨了在没有接触到车的状态的情况下，使用深度主动推理（dAIF）代理在 OpenAI 的赛车基准测试中的表现，并通过无监督表示学习来学习状态推断和控制，结果表明我们的模型达到了与深度 Q 学习相当的性能，但与其他一些世界模型方法相比，vanilla dAIF 没有达到最先进的性能，本文讨论了当前模型实现的局限性和克服它们的可能架构。

    Sep, 2021

  • 深度主动推理与变分策略梯度

    该文章介绍了 Active Inference 的理论，探讨了将行动和规划转化为一个贝叶斯推理问题以最小化可变自由能的方法。 它提出了一种新颖的深度 Active Inference 算法，该算法通过使用深度神经网络作为灵活的函数逼近器来逼近关键密度，从而使 Active Inference 能够处理更大更复杂的任务，并展示了与强化学习的有趣关联。

    Jul, 2019

  • 光导性的主动推断实现

    本文通过一个简单的基于代理的模型，展示了积极推理作为感知和行动的一种可能的统一理论，并且解释了行为和感知之间的深层对称性。

    Jul, 2017

  • ALP：面向感知的动作感知学习

    本文提出了一种基于行为感知的具有身体的学习框架，该框架通过结合强化学习和反向动力学预测目标来将行动信息纳入表示学习中，主动探索复杂的 3D 环境，从而学习可推广的任务不可知表示，并收集下游训练数据，以目标检测和语义分割任务为例，证明了该方法在视觉模型基准测试中的优势表现，并表明通过在更贴近环境和任务的实时数据上进行训练，我们的方法比在 ImageNet 等固定数据集上预训练的模型更具有鲁棒性。

    Jun, 2023