提出基于上下文强化学习模型的机器人辅助喂食系统来解决如何处理不同外部因素以及如何处理不同分布策略对于未知的食品掌握所带来的挑战。
Aug, 2019
提出使用可学习的变形对象操作框架来让双臂机器人系统能够实现拌炒烹饪。首先定义了一个规范的拌炒动作,然后通过图结构和变形器模型 Structured-Transformer 来捕捉双臂运动的时空关系,最后加入视觉反馈,实现了自动适应运动,可以实现炒菜并有望推广到其他可变形物体的双臂协调操作。
May, 2022
研究发现,考虑到社交提示的咬合定时策略可以导致社交用餐情境下机器人辅助喂食的无缝交互。通过收集一个人-人交往数据集(HHCD),开发了基于多模态社交信号的咬合定时预测模型,并将其应用于人-机交往情境。
Jul, 2022
研究提出了一种名为CARBS的机器人喂食系统,采用双手铲取食物并通过图像反馈学习食品稳定以避免食品浪费。它相对于单臂基线成功率提高25.8%且减少16.2%的食品破碎率。
Nov, 2022
本文提出一个基于视觉和触觉的反应性策略来规划插叉运动的多模态表征方法,实现了对可变形食物的抓取,成功率为71%。
本文提出了一种智能家居机器人的认知结构体系,用于学习用户的偏好从而个性化准备早餐,并且可以结合任务计划、图形用户界面等技术生成并创新新的早餐。针对 Fetch 移动机器人进行了验证,实验结果表明该认知结构体系能够高效地学习用户个性化的早餐偏好,并生成一些机器人从未学习过的新的早餐组合方式。
Jun, 2023
通过学习视觉动作规划技术,我们提出了一种用于长期饮食获取的框架VAPORS,可以在真实环境中执行复杂的餐盘清理任务,并且相比基准方法在效率、泛化性和用户喜好方面表现更好。
Sep, 2023
通过将视觉感知与模仿学习相结合,我们提出了一种新颖的具有空间注意力模块的视觉模仿网络,用于机器人辅助喂食。我们的方法名为AVIL(自适应视觉模仿学习),在处理不同装碗、不同材质、尺寸、位置以及不同类型的食物,甚至在存在干扰物的多样情景时表现出可适应性和鲁棒性。我们在真实机器人上进行了实验证明了我们方法的有效性,并与一个基准模型进行了比较。结果表明,在所有情景中,我们的模型取得了比基准模型多达2.5倍的成功度量改善。值得注意的是,我们的模型仅在装有颗粒谷物的透明玻璃碗的数据上进行训练,但在其他不同类型的食物和碗配置上进行零样本测试时表现出泛化能力。
Mar, 2024
使机器人能够自主并安全地学习切食物的任务,通过减少与食物和切菜板接触的力量,使用强化学习和仿真进行训练和部署。
Apr, 2024
本研究解决了机器人辅助进食中在不同条件下获取多样食品和对未见食品的泛化能力不足的问题。提出的IMRL方法通过整合视觉、物理、时间和几何表示,显著提高了模仿学习的鲁棒性和泛化能力。实验结果表明,该方法在成功率上提升了最高35%,展示了其在多样食品获取场景中的适应性。
Sep, 2024