ALP：面向感知的动作感知学习

Jun, 2023

ALP: Action-Aware Embodied Learning for Perception

Xinran Liang, Anthony Han, Wilson Yan, Aditi Raghunathan, Pieter Abbeel

TL;DR本文提出了一种基于行为感知的具有身体的学习框架，该框架通过结合强化学习和反向动力学预测目标来将行动信息纳入表示学习中，主动探索复杂的 3D 环境，从而学习可推广的任务不可知表示，并收集下游训练数据，以目标检测和语义分割任务为例，证明了该方法在视觉模型基准测试中的优势表现，并表明通过在更贴近环境和任务的实时数据上进行训练，我们的方法比在 ImageNet 等固定数据集上预训练的模型更具有鲁棒性。

Abstract

Current methods in training and benchmarking vision models exhibit an over-reliance on passive, curated datasets. Although models trained on these datasets have shown strong performance in a wide variety of tasks such as classification, detection, and segmentation, they fundamentally a

vision models embodied learning reinforcement learning generalization task-agnostic representations

发现论文，激发创造

面向语义分割的视觉活动学习

本文研究了具体化视觉主动学习任务，该任务通过选择性的视野请求注释来探索三维环境，以获取场景理解，我们通过开发一系列智能体来研究具体化视觉主动学习，其中智能体配备语义分割网络，并使用深度强化学习以及奖励函数平衡任务性能和必要注释数据请求，得到了可靠的结果。

Dec, 2020

学习无行动行动

通过从无动作演示中推断潜在动作，我们介绍了一种名为 LAPO 的方法，它可以有效地预训练深度强化学习模型，并且可以快速微调以实现专家级表现。这为在网上大量的无动作演示中预训练强大而通用的强化学习模型提供了重要基础。

Dec, 2023

借助时间预测损失在感知中利用时间属性进行基于流的主动学习

我们通过利用时间性质和引入一种新的方法，即时预测损失方法 (TPL)，在移动设备和机器人上实现了流媒体主导的主动学习方法。我们还通过比较基于池的方法和基于流媒体的方法，证明了 TPL 方法在感知应用中的高性能，能够显著提高数据选择的多样性和准确性。

Sep, 2023

SEAL：利用探索和 3D 一致性的自监督体验主动学习

该论文介绍了一个名为自助式躯体活动学习（Self-supervised Embodied Active Learning，SEAL）的框架，它使用训练于互联网图像的感知模型学习主动探索策略，并使用 3D 一致性对收集的观察结果进行标记，并利用 3D 语义地图在完全自我监督的情况下学习行动和感知，从而可以提高对目标的检测和分割的性能。

Dec, 2021

基于像素的端到端深度主动推断在身体感知和动作中的应用

我们提出了一种基于像素的深度主动推理算法 (PixelAI)，它受到人类身体感知和动作的启发。这种算法将来自神经科学的自由能原理与深度卷积解码器相结合，以直接处理原始视觉输入并提供在线自适应推理。我们的方法通过研究模拟和真实的 Nao 机器人中的身体感知和动作进行验证。结果显示，我们的方法允许机器人通过单眼摄像头图像动态地估计其臂的位置，并自主地朝着 “想象” 的外部位置进行运动，这表明机器人和人类的身体感知和行动可以通过将二者视为由不断的感官输入引导的主动推理问题来有效地解决。

Dec, 2019

自主驾驶的基于行动的表示学习

该研究探讨了利用人类驾驶产生的数据对自动驾驶系统进行改进的方法，提出了利用基于行动的驾驶数据进行学习表示的模型，该模型在弱注释图像方面表现出色，并且优于纯粹的端到端驾驶模型，同时更具有可解释性。

Aug, 2020

放眼全局、再次解读：提高交互式指令跟随任务的性能

本文提出了一个基于多种新思想的新方法，通过两阶段指令解析和基于当前指令的分层注意力应用提供了准确的导航预测，从多个自我为中心的视角提取必要信息，可以以较高的精度在 ALFRED 挑战中胜出且取得了远高于以前相关研究的准确率。

Jun, 2021

通过深度强化学习元学习可转移的主动学习策略

使用元学习框架，将主动学习算法视为学习问题，并使用强化学习训练一个输入基础学习器状态和未标记点集的深度神经网络，预测下一个最佳注释点，使用多任务数据集嵌入方法，使得算法可以直接推广到不同的问题。

Jun, 2018

如今是否已经到达目的地？学习跟随具身教学中的定位

本研究针对 “Embodied instruction following” 的挑战性问题，利用 ALFRED 基准测试，通过引入多个视角和培训模型预测空间关系的方式来解决目标定位和语言指令接地等关键难点，同时通过引入预训练的物体检测模块来提高语言接地，实验证明我们的方法可以超越基线模型性能。

Jan, 2021

基于导航提议的深度主动感知目标检测

深度学习已经在机器人视觉任务中取得了显著进展，但大多数现有的深度学习方法依赖于传统的计算机视觉流水线中固有的静态推理范例。最近的研究发现，积极感知通过超越这些静态模式来改善各种模型的感知能力。本文提出了一个通用的监督式积极感知流水线，用于目标检测，可以使用现有的现成目标检测器进行训练，同时利用仿真环境的进展。为此，所提出的方法采用了额外的神经网络架构，在目标检测器置信度不足时估计更好的视点。所提出的方法在 Webots 机器人模拟器构建的合成数据集上进行了评估，展示了在两种目标检测情况下其有效性。

Dec, 2023