SEAL：利用探索和 3D 一致性的自监督体验主动学习

Dec, 2021

SEAL：利用探索和 3D 一致性的自监督体验主动学习

SEAL: Self-supervised Embodied Active Learning using Exploration and 3D Consistency

Devendra Singh Chaplot, Murtaza Dalal, Saurabh Gupta, Jitendra Malik, Ruslan Salakhutdinov

TL;DR该论文介绍了一个名为自助式躯体活动学习（Self-supervised Embodied Active Learning，SEAL）的框架，它使用训练于互联网图像的感知模型学习主动探索策略，并使用 3D 一致性对收集的观察结果进行标记，并利用 3D 语义地图在完全自我监督的情况下学习行动和感知，从而可以提高对目标的检测和分割的性能。

Abstract

In this paper, we explore how we can build upon the data and models of Internet images and use them to adapt to robot vision without requiring any extra labels. We present a framework called Self-supervised Embodied Active Learning (SEAL). It utilizes perception models trained on internet images to learn an active exploration policy. The observations gathere

self-supervised embodied active learning perception model 3d semantic maps object detection instance segmentation

发现论文，激发创造

面向语义分割的视觉活动学习

本文研究了具体化视觉主动学习任务，该任务通过选择性的视野请求注释来探索三维环境，以获取场景理解，我们通过开发一系列智能体来研究具体化视觉主动学习，其中智能体配备语义分割网络，并使用深度强化学习以及奖励函数平衡任务性能和必要注释数据请求，得到了可靠的结果。

Dec, 2020

基于一致性的半监督确信主动学习用于诊断放射照片分类

本文提出了一种结合半监督和主动学习的一致性半监督证据主动学习框架（CSEAL），通过建立在证据和主观逻辑理论上的预测不确定性，综合了半监督学习和基于不确定性的主动学习。我们在多标签胸部 X 射线分类任务上对该方法进行了广泛评估，并表明 CSEAL 相对于两个领先的半监督主动学习基线实现了实质性的性能提升。

Sep, 2022

SEAL: 同步标签层次探索和学习

提出了一种名为 SEAL 的框架，该框架探索了标签层次结构，通过扩充观察到的标签与先前的分层结构的潜在标签进行了学习，并使用 1-Wasserstein 度量来同时执行数据驱动标签分层和（半）监督学习，在几个数据集上进行了验证，结果表明该方法在监督和半监督场景下都取得了优异的成果，并揭示了有启发性的标签结构。

Apr, 2023

使用语义模型进行学习和规划

本论文提出了一种基于深度强化学习的混合模型与无模型集成的方法 LEAPS，通过对含有内在语义规律但视觉多样性的人造环境的实验表明其比不考虑语义内容的强基线更有效。

Sep, 2018

ALP：面向感知的动作感知学习

本文提出了一种基于行为感知的具有身体的学习框架，该框架通过结合强化学习和反向动力学预测目标来将行动信息纳入表示学习中，主动探索复杂的 3D 环境，从而学习可推广的任务不可知表示，并收集下游训练数据，以目标检测和语义分割任务为例，证明了该方法在视觉模型基准测试中的优势表现，并表明通过在更贴近环境和任务的实时数据上进行训练，我们的方法比在 ImageNet 等固定数据集上预训练的模型更具有鲁棒性。

Jun, 2023

主动视觉学习中的语义好奇心

本文研究了物体检测的体现式交互学习任务，提出基于自监督学习方法的探索策略，使用语义好奇心奖励轨迹样本，通过该方法训练的探索策略具有普适性，能够帮助训练出优于其他方法的物体检测器。

Jun, 2020

未知环境下使用信息路径规划的半监督主动学习用于语义分割

使用自适应地图规划的半监督主动学习方法，结合高质量的人工标签和自动提取的伪标签，显著降低人工标注的需求，从而在减少人工标注工作量的同时，达到接近全监督方法的分割性能，超过自监督方法。

Dec, 2023

SEAL: 用于感知机器人动作的语义框架执行和定位

本文介绍了一种针对机器人操纵动作的语义框架表示方法，并引入了 SEAL 问题和 SeFM 算法来提高机器人在大型环境中的任务执行效率。

Mar, 2023

半监督三维动作识别的对抗自监督学习

这篇研究论文介绍了 Adversarial Self-Supervised Learning (ASSL) 框架，在 3D 动作识别中，通过邻居关系的探索和对抗学习来加强 Semi-Supervised Learning，并提出了一种有效的自我监督学习方案，以提高所学特征的识别能力，并提出了对抗性规则化方法来对标记和未标记样本的特征分布进行对齐。在 NTU 和 N-UCLA 数据集上进行了大量实验，并在 3D 动作识别的少标记情况下证实了该方法相对于半监督学习的最新方法的优越性能。

Jul, 2020

基于在线语义重构的主动场景理解

提出一种基于 RGBD 重建和语义分割的机器人操作主动理解未知室内场景的新方法，利用离线估计的离散视野分数场来驱动机器人的勘探扫描，结合基于体素的实时语义标注，优化遍历路径和相机轨迹，从而实现高效准确的在线场景解析。

Jun, 2019