robot manipulation | BriefGPT

关键词robot manipulation

搜索结果 - 56

ManiWAV: 从野外的视听数据学习机器人操作
通过收集具有音频和视觉反馈的野外人类示范数据，以及相应的策略接口，本文介绍了 ManiWAV: 一种用于直接从示范中学习机器人操作策略的 “手中的耳朵” 数据采集设备，并通过四个接触丰富的操作任务展示了系统的能力。
PDF7 days ago
周期对应损失函数：从无标记和无序的 RGB 图像学习稠密的视角不变视觉特征
通过使用循环一致性思想，引入循环对应损失（CCL）实现视角不变的密集描述符的学习，从而达到优于其他自监督方法且接近有监督方法的性能，无论是在关键点跟踪还是机器人抓取下游任务方面。
PDF16 days ago
RoboMamba: 高效机器人推理和操作的多模态状态空间模型
通过集成视觉编码器与 Mamba 模型，RoboMamba 同时提供了机器人推理和动作能力，并且在模型的微调和推断过程中保持了高效的计算速度。
PDFa month ago
自我校正的多模态大型语言模型用于端到端机器人操作
自我修正的大型语言模型 (SC-MLLM) 在机器人操作中表现出色，通过自动检测和纠正失败动作，提高了操作准确性。
PDFa month ago
ICLRDrS: 针对多阶段任务学习可重复使用的密集奖励
我们提出了一种学习可重复使用稠密奖励的新方法，称为 DrS，能够通过利用任务的阶段结构从稀疏奖励和示范中学习高质量的稠密奖励，并在未知任务中复用，从而减少了人工奖励设计的工作。实验证明我们学到的奖励在未知任务中可以复用，提高了强化学习算法的
PDF2 months ago
机器人操作中贝叶斯模型的主动探索
通过积极学习方法和贝叶斯神经网络模型，提高机器人操纵的模型质量和数据效率，以应对复杂环境下的多任务处理挑战。
PDF3 months ago
RoboScript: 跨真实和模拟环境的自由操作任务的代码生成
RobotScript 是一个平台，用于基于代码生成的部署式机器人操作流程，也是一个自由形式自然语言的机器人操作任务代码生成基准。该平台通过 ROS 的抽象，与仿真和真实机器人实现统一接口，确保语法一致性和与 Gazebo 的仿真验证，并展
PDF4 months ago
DINOBot：通过视觉基础模型的检索和对齐进行机器人操作
提出了 DINOBot，这是一个新颖的机器人操作的模仿学习框架，利用 DINO 训练的视觉变压器从图像级别和像素级别的能力。通过一系列的现实世界实验，表明利用视觉基础模型的图像级别和像素级别属性可以实现前所未有的学习效率和泛化能力。
PDF4 months ago
3D 扩散行为者：带有 3D 场景表示的策略扩散
我们结合扩散策略和 3D 场景表示来实现机器人操纵，提出了一种名为 3D Diffuser Actor 的神经策略体系结构，它在给定语言指令的情况下构建视觉场景的 3D 表示，并在此基础上迭代性地对机器人的末端执行器进行 3D 旋转和平移噪
PDF5 months ago
ManipLLM: 对象为中心的机器人操作的具身多模态大规模语言模型
通过引入新颖的机器人操作方法，利用多模态大型语言模型（MLLMs）的强大推理能力，增强操作的稳定性和泛化能力。我们采用 fine-tuning 方法，在保留 MLLM 的常识和推理能力的同时，为其提供操作能力。实验结果表明 ManipLLM
PDF6 months ago
通过扩散模型获取六自由度稳定场
核心能力是机器人操控对于在杂乱环境中进行物体的稳定放置的推理，6-DoFusion 是一个生成模型，能够生成给定场景的稳定配置的物体的 3D 姿势，并在不同的物体放置和堆叠任务上进行了评估。
PDF8 months ago
通过预训练和多任务微调掌握多模态机器人操作
通过引入一个有效的框架，从多任务的专家轨迹中学习使用多模式提示进行机器人操作，我们在 VIMA-BENCH 上评估了方法的功效，并建立了一个新的最先进水平（成功率提高了 10%）。此外，我们还展示了我们的模型具有显著的情境学习能力。
PDF9 months ago
探索机器人操纵的视觉预训练：数据集、模型与方法
基于大规模真实世界数据的视觉预训练在最近几年取得了很大的进展，展示了在像素观察中进行机器人学习的巨大潜力。本文从三个基本角度（预训练数据集、模型架构和训练方法）深入研究了视觉预训练策略对机器人操作任务的影响，并提供了几个重要的实验发现，有益
PDFa year ago
基于人类评估反馈的原始技能基础机器人学习
SEED 是一个结合了人类反馈的强化学习和基于原始技能的强化学习的新框架，通过减少人类的工作量和增加训练过程的安全性，有效地解决了长期任务中的样本低效性和安全性问题。SEED 在五个具有不同复杂度的操作任务上表现出了比其他强化学习算法更高的
PDFa year ago
VoxPoser：使用语言模型构建可组合的三维价值地图，实现机器人操作
使用大型语言模型综合视觉 - 语言模型，生成适用于各种机器人操作的闭环轨迹。
PDFa year ago
Act3D: 用于机器人操作的无限分辨率动作检测变压器
本文提出的 Manupulation 策略 Transformer Act3D，将 6DoF 关键点预测作为自适应空间计算的 3D 检测操作，取得 RLbench 操作测试中最佳效果。
PDFa year ago
SCENEREPLICA: 基于可重现场景的真实世界机器人操作基准测试
为了评估机器人在现实世界中的操作能力，我们提出了一个新的可重复使用的基准测试，着重于抓取和放置。我们使用机器人学界常用的 YCB 对象数据集来确保结果可与其他研究进行比较。此外，该基准测试旨在易于在实际环境中进行重现，使其可供研究人员和实践
PDFa year ago
LIBERO：针对终身机器人学习的知识转移基准测试
LIBERO 是一个新的机器人操作的终身学习基准，提出了五个核心研究主题: （1）如何有效地传递申明性知识、程序性知识或两者混合；（2）如何设计有效的政策架构和决策算法；（3）终身学习与任务排序的关系；（4）模型预训练对终身学习的影响；（5
PDFa year ago
AlphaBlock：机器人操纵中视觉语言推理的具身微调
提出了一个学习机器人操纵任务高级认知能力的新框架，使用语言模型构建 AlphaBlock 数据集，自动采集综合高级多步文本计划和配对观察序列，使用多模式的闭环计划模型自回归生成计划，从而实现对机器人的精细操作。实验结果表明，该方法显著提高了
PDFa year ago
使用视觉动作转换器模拟任务与运动规划
该论文提出了一种新的模仿学习系统 OPTIMUS，通过模仿 TAMP 代理来训练大规模视觉运动装置策略，从而介绍了一种专门为模仿学习策划的 TAMP 数据生成流程，并演示了 OPTIMUS 可以解决各种挑战性的基于视觉的操作任务。
PDFa year ago