Nov, 2023

选择性视觉表现提升具身人工智能的收敛性和泛化能力

PDF
TL;DR基于选择性注意力的体感人工智能的参数高效的视觉刺激过滤方法在目标导航和目标位置变换等任务中展现出最先进的性能，并且在其他仿真环境中具有更好的泛化性和更快的收敛速度。
embodied aivisual stimuli filteringtask-relevant visual cuesparameter-efficient approachselective attention
发现论文，激发创造
  • 选择性视觉是视觉推理的挑战：视觉论证理解的基准测试

    AI 的视觉论证理解能力受限，当面临视觉论证时，模型的正确性只有 78.5%，而人类的正确性达到了 98.0%。

    Jun, 2024

  • 简单而有效：CLIP 嵌入用于具身人工智能

    通过比较使用传统的 ImageNet 预训练模型和使用 CLIP 模型训练的模型，在实现与物理机器人和虚拟模拟任务相关的领域，我们展示并证明了在不加入神经复杂性、语义地图、辅助训练任务与深度图等的情况下使用 EmbCLIP 基线的高性能表现，从而证明了 CLIP 编码器对于情感取向环境下的物理对象导航与智能的有效性。

    Nov, 2021

  • 面向语义分割的视觉活动学习

    本文研究了具体化视觉主动学习任务，该任务通过选择性的视野请求注释来探索三维环境，以获取场景理解，我们通过开发一系列智能体来研究具体化视觉主动学习，其中智能体配备语义分割网络，并使用深度强化学习以及奖励函数平衡任务性能和必要注释数据请求，得到了可靠的结果。

    Dec, 2020

  • 预训练视觉表示对稳健操控的成功因素

    通过对 15 个预训练视觉模型的性能比较，发现视觉出现分割能力是 ViT 模型在分布偏移下的强预测因子。在十个任务中进行广泛测试后，分割分数在离线训练和 50 次演示后预测了真实世界的性能。

    Nov, 2023

  • 示范对比学习

    该论文提出了一个从多个视角捕捉的无标注视频演示中学习视觉表示的框架，优化了最近提出的自监督学习算法，应用对比学习来增强与任务相关的信息和抑制特征嵌入中的无关信息，验证了所提出的方法在模拟几种机器人任务，包括 pick and place 任务中的应用，评估了学习表示的三个指标：视点对齐，阶段分类和强化学习，在所有情况下，结果都表明与现有方法相比，该方法水平更高，而且训练轮数更少。

    Jan, 2022

  • 多任务策略学习中视觉特征的任务条件自适应

    在这项工作中，我们证明自适应底层感知模块对于自主代理在各种任务中的成功是至关重要的，我们引入了任务条件适配器的概念，并展示了它可以通过单一策略来解决多个任务，同时证明了方法可以在未见过的任务中使用视觉示范进行泛化。

    Feb, 2024

  • 通向神经隐式表征的泛化

    通过多任务学习，训练神经隐式表示以在重建、分类和语义分割任务上实现功能丰富的编码。

    Jan, 2021

  • 预训练视觉模型对控制的有效性不足为奇

    研究表明，预训练的视觉表示方法对于控制任务的学习同样有效，甚至在某些情况下可以优于基于真实状态的表示方法，而这些预训练模型仅需要使用标准视觉数据集，而不需要在目标环境中使用真实数据。

    Mar, 2022

  • 使用物体感知表达式的多物体场景视觉运动控制

    本文探索运用物体感知表征学习技术进行机器人任务，自监督学习方法可降低实际世界中收集大量标记数据的成本，该研究展示物体感知表征学习技术在策略学习和物体定位预测方面显著提高了当前技术的效能和表现。

    May, 2022

  • 面向通用机器人学习的深度目标中心表示

    本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

    Aug, 2017