Apr, 2024

多模态感知中基于生成模型的软体机器人交互

PDF
TL;DR该研究介绍了一个感知模型，通过协调来自不同模态的数据，构建一个完整的状态表示和吸收必要的信息，从而为开发复杂的控制策略铺平了道路。该模型基于感知输入和机器人动作之间的因果关系，采用生成模型来高效压缩融合信息并预测下一个观察值。我们首次提出了关于如何从视觉和本体感知预测触觉以及跨模态生成的研究，以及这对于软体机器人在非结构化环境中的交互的重要性。
perceptionsensory modalitiesfusionstate representationsoft robots
发现论文，激发创造
  • Touching to See” and “Seeing to Feel”: 用于视觉触觉知觉的机器人跨模态感官数据生成

    本文提出了一种新的框架，利用条件生成对抗网络生成视觉或触觉图像，以实现视觉和触觉知觉的跨模态感知，并在 ViTac 数据集上进行了广泛实验，结果表明该方法能够生成逼真的数据并且有潜力扩大分类任务的数据集，生成不易获取的感官输出，并推进视觉 - 触觉知觉的整合。

    Feb, 2019

  • 人形机器人的感知

    本综述总结了人形机器人感知领域的最新发展和趋势，识别了内部状态估计、外部环境估计和人机交互三个主要应用领域，并讨论了各个领域中不同传感器模态的应用和最近的重要研究成果。

    Sep, 2023

  • 多模态生成模型学习直觉物理学

    本文提出了一种感知框架，通过融合视觉和触觉反馈来预测动态场景中物体的运动，该框架利用一种新型的 STS 传感器来捕捉物体的视觉外观和触觉特性，利用多模态 VAE 将两种模态结合起来，可以推断未来物理交互的结果。

    Jan, 2021

  • 机器人的视觉触觉物体感知：概述

    本文概述了机器人的视觉 - 触觉对象感知的现状和挑战，并讨论了多模式机器学习的主要挑战和最新进展。

    Mar, 2022

  • 理解视觉和触觉：学习接触丰富任务的多模态表征

    本文提出一种使用自我监督的方法学习机器人多模态的传感输入表示，来提高学习策略的样本效率，以期应对传统方法在在处理未结构化环境下的接触丰富型操作上的局限性。在模拟环境和物理机器人实验中验证了该方法的有效性。

    Jul, 2019

  • 视觉与触觉的整合：自监督学习的多模态接触任务表示

    本文使用自我监督的方式学习了一种紧凑的多模态表示方法，将触觉和视觉反馈结合起来，以改善高维输入控制策略的样本效率，该方法在模拟和实际机器人实验中均表现出鲁棒性和广泛泛化能力。

    Oct, 2018

  • 通过跨模态预测连接触觉和视觉

    本文通过在机器人装备视觉和触觉传感器，收集大规模视觉和触觉图像序列数据，使用条件对抗式模型，实现视觉和触觉的交叉连接，来合成视觉数据和触觉信号，并想象人与物体的互动。

    Jun, 2019

  • 用于越野无人车的多模态动力学建模

    该篇论文研究如何在戶外和非结构化环境下使用多种传感器来构建预测机器人动态的模型，实验表明多种传感器的组合能够更准确地预测机器人的状态变化。

    Nov, 2020

  • 与环境对话：使用大型语言模型进行交互式多模态感知

    在机器人的交互感知中，使用预先训练的大型语言模型（LLMs）作为交互感知框架，并将其应用于决策问题以及规划多模态环境中的任务执行，这样可以通过感知来指导认知行为和高层次的决策规划，这种方法可以显著提高任务完成的准确性和效率。

    Mar, 2023

  • 感知、表征、生成：将多模态信息翻译为机器人运动轨迹

    利用 Perceive-Represent-Generate (PRG) 三阶段框架、多模态深度生成模型，将机器人执行指令的动作序列与不同感知模态（例如视觉或声音）的感知信息相映射，并将其应用于机器人书写任务，完成可读可懂的手写字体。

    Apr, 2022