Feb, 2020

线性模型在物体堆叠操作的视觉预测中的惊人有效性

PDF
TL;DR本文研究通过视觉反馈将小物品推到目标点的问题，提出了一个基于图像空间的李亚普诺夫函数的简单控制器，评估了三种不同类别的图像预测模型在闭环控制中的性能，得到线性模型在预测错误、下游任务性能和泛化性能方面比深度模型更好的结果。
visual feedbackimage-based controlmanipulationlinear modelobject pushing
发现论文，激发创造
  • 通过视觉规划和执行学习机器人操作

    本文提出了一种基于数据驱动的建模方法，利用深度生成模型学习目标定向的物体操作，采用视觉规划和视觉跟踪控制解决目标检测问题。

    May, 2019

  • 操纵变形线性物体的状态估计自监督学习

    本文提出了一种基于状态空间表示和自我监督训练技术的视觉机器人操作方法，通过估计可变形物体状态、训练神经网络动力学模型以及采用模型预测控制器，实现高效而准确的物体操纵。

    Nov, 2019

  • 视觉先见：基于模型的深度强化学习在基于视觉的机器人控制中的应用

    本文提出了一种实用于实际机器人任务 -- 如机器人操作 -- 的深度强化学习算法，并在无人监督的情况下使用自我监督的基于模型的方法来训练预测模型，通过选择指定像素、目标图像或图像分类器作为目标设定方法，探索实现前所未见的任务和物体的普遍泛化。

    Dec, 2018

  • 颗粒物堆积操纵的神经场动力学模型

    基于学习的动力学模型用于颗粒材料操纵，通过卷积神经网络实现了对物体堆和推动者的密度场表示，结合可微分的操作渲染模块，与基于梯度的轨迹优化算法进行直接集成，通过在模拟和实验中验证表明其在准确性和计算效率方面明显超越现有的基于潜变量或基于粒子的方法，并在各种环境和任务中展示了零样本泛化能力。

    Nov, 2023

  • 面向对象的前向建模在模型预测控制中的应用

    该论文提出了一种基于物体的前向模型学习方法，用于规划动作序列以实现远程期望目标，并通过随机交互数据来学习行为效果。实验结果表明，该方法具有更高的采样效率和准确性，可以优化闭环执行。

    Oct, 2019

  • 使用本地动态模型的视觉预测

    本文介绍了一种通过 Local Dynamics Model 和无模型策略学习相结合的方式有效地学习状态转移函数从而能够解决一步先见规划的复杂操纵任务的方法，并在模拟中展示了本方法的优越性。

    Jun, 2022

  • 利用线性关系网络进行组合多对象强化学习

    本文提出一种基于关系归纳偏见的新型插入式模块，可使代理程序在学习固定的多对象设置中学习操作任务，并在输入对象数量改变时零样本泛化，解决了前人方法因其复杂度而无法泛化的问题。

    Jan, 2022

  • 变形和刚体物体操作视觉动作规划的潜空间路线图

    本文提出了一个基于图形结构的框架，包含可视化预测模块及提案网络模块，利用低维潜在空间进行常规复杂操作的动作计划，验证了在模拟环境和实际机器人中制定可行的任务完成方案及操作计划。

    Mar, 2020

  • 利用 Contrastive Estimation 学习变形物体的预测表示

    本研究提出了一种新的学习框架，使用对比估计来同时优化可视化表达模型和动态模型，在随机扰动变形对象并收集了模拟数据后，离线学习这些对象的潜在动态模型，随后使用简单的模型规划来解决具有挑战性的变形对象操纵任务，实验结果表明其性能优于传统模型学习技术，并通过域随机化将其可视化操纵策略从模拟数据成功地迁移到现实中的 PR2 机器人中。

    Mar, 2020

  • 通过模仿自然序列中的动态进行视觉预测

    我们引入了一种通用的视觉预测框架，旨在直接模仿视觉序列而不需要额外的监督。我们通过将视觉预测转化为逆强化学习问题，并通过可训练的深层特征表示扩展最近的进展来解决计算瓶颈。我们在低级像素到高级语义的三个不同级别上评估了我们的方法，在所有级别上，我们的方法都优于现有的方法。

    Aug, 2017