面向语义分割的视觉活动学习

AAAIDec, 2020

Embodied Visual Active Learning for Semantic Segmentation

David Nilsson, Aleksis Pirinen, Erik Gärtner, Cristian Sminchisescu

TL;DR本文研究了具体化视觉主动学习任务，该任务通过选择性的视野请求注释来探索三维环境，以获取场景理解，我们通过开发一系列智能体来研究具体化视觉主动学习，其中智能体配备语义分割网络，并使用深度强化学习以及奖励函数平衡任务性能和必要注释数据请求，得到了可靠的结果。

Abstract

We study the task of embodied visual active learning, where an agent is set to explore a 3d environment with the goal to acquire visual scene und

embodied visual active learning 3d environment visual scene understanding deep reinforcement learning semantic segmentation

发现论文，激发创造

具身视觉识别

本文提出了一种名为 “Embodied Visual Recognition” 的任务，其中代理可以在三维环境中移动以对被遮挡的目标物体进行识别、定位和分割，研究结果表明，具有移动能力的代理比被动代理的视觉识别性能更好，代理可以学习不同于最短路径的策略移动路径来提高视觉识别能力。

Apr, 2019

基于在线语义重构的主动场景理解

提出一种基于 RGBD 重建和语义分割的机器人操作主动理解未知室内场景的新方法，利用离线估计的离散视野分数场来驱动机器人的勘探扫描，结合基于体素的实时语义标注，优化遍历路径和相机轨迹，从而实现高效准确的在线场景解析。

Jun, 2019

具身视觉导航的深度学习：一项综述

综述了目前关于具有各种智能技能的智能机器人在 3D 环境中进行导航的研究领域，着重介绍了在这一领域内的各种高级技能，例如：感知局部观察视觉输入，理解跨模态的指令等等，并探讨了未来的研究方向及挑战。

Jul, 2021

SEAL：利用探索和 3D 一致性的自监督体验主动学习

该论文介绍了一个名为自助式躯体活动学习（Self-supervised Embodied Active Learning，SEAL）的框架，它使用训练于互联网图像的感知模型学习主动探索策略，并使用 3D 一致性对收集的观察结果进行标记，并利用 3D 语义地图在完全自我监督的情况下学习行动和感知，从而可以提高对目标的检测和分割的性能。

Dec, 2021

虚拟到现实：在视觉语义分割中学习控制

为解决机器人虚拟世界到真实世界的迁移问题，本文提出了一种基于模块化架构、采用语义图像分割作为元表示的深度强化学习方法，实现了 RGB 图像到语义图像段转换。实验结果表明，该架构在避障和目标跟踪任务中表现优异，并在虚拟和真实环境中均明显优于基准方法。

Feb, 2018

STAIR：语义目标驱动的主动隐式重建

我们提出了一个新的框架，利用姿态化的 RGB-D 测量和 2D 语义标签作为输入，进行语义目标的主动重建，实现对感兴趣目标的自适应视角规划，从而在网格和新视角渲染质量方面实现更好的重建性能，超过不考虑语义的隐式重建基线和基于显式地图的最先进的语义目标主动重建流水线。

Mar, 2024

未知环境下使用信息路径规划的半监督主动学习用于语义分割

使用自适应地图规划的半监督主动学习方法，结合高质量的人工标签和自动提取的伪标签，显著降低人工标注的需求，从而在减少人工标注工作量的同时，达到接近全监督方法的分割性能，超过自监督方法。

Dec, 2023

图像分割的强化主动学习

策略是通过使用深度强化学习对语义分割进行主动学习实现的，该方法比最有竞争力的基线数量少约 30％的附加标签数据，提高模型对不足表达类别的分类性能。

Feb, 2020

基于语义的人形机器视觉任务的主动感知技术与视点焦点传感器

通过使用语义信息，可以在场景探索和视觉搜索任务中有效地完成视觉任务，从而证明了语义模型在视觉任务中的优越性。

Apr, 2024

具有图神经嵌入的主动语义定位

本研究提出了一个轻量级、全 CPU 基于的 “图神经本地化器” 框架，旨在解决语义定位问题。该框架结合了场景图和图神经网络技术，首先训练了一个场景图分类器用于被动视觉，然后将其知识转移到强化学习规划器用于主动视觉。实验表明，该方法在自我监督学习和无监督域适应两个场景下都具有效果。

May, 2023