将机器人的表示与人类对齐
本文调查了当前大部分奖励和模仿学习方法的机器人任务表示与人类任务表示不匹配的问题,并主张应该将机器人学习任务的表示与人类对齐,以及从定义问题的数学角度出发研究机器人物理表示学习。
Feb, 2023
本文在三个机器人任务中系统评估了多种常见的学习和手工工程化表示方法,并从三个方面对每种表现方法进行评估,即维度,可观测性和分离度,发现在输入代理或作为辅助任务的情况下,可以显著提高性能,并挑战了什么是控制机器人 ' 好' 表示的见解。
Nov, 2020
人类具有内在的通用视觉表征,使其能够高效地探索和与环境进行物体操控。本研究提出使用多任务微调的方式在经过预训练的视觉编码器上学习感知技能,通过任务融合解码器指导表示学习,使得对于所有感知技能来说,学习编码的结构能够更好地表示重要信息,最终为下游的机器人操控任务提供帮助。大量实验验证了任务融合解码器在多个机器人任务和仿真及现实环境中对于三种最先进的视觉编码器(R3M、MVP 和 EgoVLP)的表示进行了改进,提升了下游操控策略的学习性能。
Oct, 2023
通过模仿学习,我们能够快速理解一个新任务,通过演示,我们可以直接获得哪些动作需要执行以及它们的目标的知识。本文介绍了一种新的模仿学习方法,解决了机器人模仿人类所面临的视角变化和身体模式等挑战。我们的方法可以利用单个人类演示来抽象展示任务的信息,并利用该信息进行泛化和复制。我们通过两种最先进的方法进行了新的集成:扩散式动作分割模型用于抽象演示的时间信息,以及开放词汇对象检测器用于空间信息。此外,我们通过符号推理来改进抽象的信息,并利用逆向运动学创建行动计划,以使机器人能够模仿演示的动作。
Jan, 2024
通过人类反馈,提出了一种用于解决视觉表征对齐问题和视觉奖励学习问题的方法:表示对齐的基于偏好的学习(RAPL)。在 X-MAGICAL 和机器人操纵的实验中,RAPL 的奖励 consistently 生成高样本效率的优选机器人行为,并在视觉表征来自与机器人不同的实体的情况下显示出强大的零样本泛化能力。
Oct, 2023
本文主要研究在 assistive tasks 中应用 sim2real 技术时的问题,并提出了一种解决方案 —— 通过学习一种好的 latent representation 来匹配 test-time humans 能够准确映射到的人类策略,并且在 test-time 进行 fine-tune,这样能够更好地结构化人类策略。
Dec, 2022
本研究通过一个协同迷宫游戏设计,用深度强化学习技术实现了人机共同协作。研究结果证明人机共同协作相互影响,在时间的推进下不断适应并建立起相应策略,这为人机智能的协作提供了可行的方案。
Mar, 2020
该研究提出了一种用于在长时间内不断学习机器人环境并增量式更新其内部知识图谱表示的架构,采用知识图谱嵌入技术对获取的信息进行泛化,通过一系列增量学习会话来评估机器人从未知上下文中学习实体和关系的能力。
Jan, 2023
本文通过引入类人概念学习框架和新型计算机架构,将认知心理学的有关概念转移到机器学习领域中,实现了具备可解释性及直观感知能力的机器人。该认知计算机通过视觉感知系统、即时记忆和运动控制系统,实现一个命令集合,以学习新概念,并可将其应用于不同形势的物理世界中。
Dec, 2018
本文介绍了一种通过虚拟现实人类任务演示自动生成可执行机器人控制程序的系统,利用常识知识和基于游戏引擎的物理,以及自动路径规划和代码生成,实现了具有表现力和通用性的任务表示,在强力抓取和放置机器人购物助手的场景中进行了演示。
Jun, 2023