主动式物体操纵有助于视觉物体学习：一项自我中心视觉研究

CVPRJun, 2019

主动式物体操纵有助于视觉物体学习：一项自我中心视觉研究

Active Object Manipulation Facilitates Visual Object Learning: An Egocentric Vision Study

Satoshi Tsutsui, Dian Zhi, Md Alimoor Reza, David Crandall, Chen Yu

TL;DR本研究通过收集儿童的第一人称图像来分析他们所接受到的训练数据，并就儿童如何通过手操作物体来控制所接受到的监督信号进行探究。实验结果表明，通过手控制监督信号比没有手的效果更好，并且即使只有少量图像可用，这种趋势是一致的。

Abstract

Inspired by the remarkable ability of the infant visual learning system, a recent study collected first-person images from children to analyze the `training data' that they receive. We conduct a follow-up study t

visual learning system training data few-shot learning hand manipulation supervision signals

发现论文，激发创造

自我监督视觉学习中基于计算的接受者目视着物游戏的解释

本研究使用玩具箱数据集和计算机视觉框架进行自我监督对比学习实验，发现通过学习信号，将单个物体的不同视角赋予相似的表示有助于视觉学习的稳健性，这种性能的提高对于多种图像分类任务来说是可持续的。

May, 2023

利用增强学习实现遮挡情况下操纵物体的主动视觉学习

该研究探讨了人工智能代理在存在物体干扰的情况下，学习协同控制夹持器和相机，以强化学习策略来完成目标。其中，手 / 眼控制器通过物体中心化注意力结构进行处理，学习如何移动相机来保证物体始终在视野内，并与夹持器协同完成任务。此外，环境难度的课程设计，对最终的动态视野 / 夹持策略影响显著。实验结果表明，该方法在多样化的杂乱环境中胜过静态相机设置。

Nov, 2018

学习先看再动：用于操作的视觉预训练

使用迁移学习框架，通过对视觉网络和物体操作网络进行预训练和微调，成功地实现了零经验机器人对物体的拾取任务，且只需少量的机器人经验即可获得更好的效果。

Jul, 2021

基于视觉的机械臂同时需要从其手部感知视觉

本研究发现相较于全局第三人称视角，手心视角可以提高物理操作的训练效率和泛化能力，并适用于各种算法、实验环境和分布转变。

Mar, 2022

利用人手作为交互式物体理解的探针

通过观察手在自然野外环境下的视频，本文致力于实现交互对象的理解，成功地应用这一基本原则于 EPIC-KITCHENS 数据集，从而纯粹通过观察手在自我中心视角的视频中学习状态敏感特征和对象特性。

Dec, 2021

通过与物体交互学习物体

通过与 AI2-THOR 环境的互动，实现基于人类婴儿学习机制的计算框架，不依赖外部监督学习，从而有效地发现物体并学习物理特性。