Sep, 2024

IMRL：整合视觉、物理、时间和几何表示以增强食品获取

HTML
PDF
TL;DR本研究解决了机器人辅助进食中在不同条件下获取多样食品和对未见食品的泛化能力不足的问题。提出的IMRL方法通过整合视觉、物理、时间和几何表示，显著提高了模仿学习的鲁棒性和泛化能力。实验结果表明，该方法在成功率上提升了最高35%，展示了其在多样食品获取场景中的适应性。
发现论文，激发创造
  • 自适应机器人辅助喂食: 一种在线学习框架，用于获取以前未见过的食品项目

    提出基于上下文强化学习模型的机器人辅助喂食系统来解决如何处理不同外部因素以及如何处理不同分布策略对于未知的食品掌握所带来的挑战。

    Aug, 2019

  • 学习双手舀取食物的策略

    研究提出了一种名为CARBS的机器人喂食系统，采用双手铲取食物并通过图像反馈学习食品稳定以避免食品浪费。它相对于单臂基线成功率提高25.8%且减少16.2%的食品破碎率。

    Nov, 2022

  • 机器人辅助下的视觉触觉切片策略学习

    本文提出一个基于视觉和触觉的反应性策略来规划插叉运动的多模态表征方法，实现了对可变形食物的抓取，成功率为71%。

    Nov, 2022

  • 学习机器人辅助喂食的连续采集策略

    通过学习视觉动作规划技术，我们提出了一种用于长期饮食获取的框架VAPORS，可以在真实环境中执行复杂的餐盘清理任务，并且相比基准方法在效率、泛化性和用户喜好方面表现更好。

    Sep, 2023

  • 机器人从示范中强化学习处理可变形食品物体

    本文提出了一种基于示教学习（LfD）的鲁棒学习策略，用于机器人抓取食品可变形物体，通过RGB-D图像和触觉数据的融合来实现有效的机器人操纵，验证并证明了该方法在脆弱和可变形食品物体领域具有广泛的潜在应用。

    Sep, 2023

  • 从食堂食物到日常餐饮：将食物识别推广到更多实用场景中

    设计了两个新的基准数据集，DailyFood-172和DailyFood-16，用于评估将在精心策划的食品图像领域训练的方法转移到日常生活食品图像领域的可行性，并提出了一种名为MCRL的简单而有效的基线方法来解决领域差距问题。

    Mar, 2024

  • 适应性视觉模仿学习用于跨多样碗配置和食物类型的机器人辅助喂食

    通过将视觉感知与模仿学习相结合，我们提出了一种新颖的具有空间注意力模块的视觉模仿网络，用于机器人辅助喂食。我们的方法名为AVIL（自适应视觉模仿学习），在处理不同装碗、不同材质、尺寸、位置以及不同类型的食物，甚至在存在干扰物的多样情景时表现出可适应性和鲁棒性。我们在真实机器人上进行了实验证明了我们方法的有效性，并与一个基准模型进行了比较。结果表明，在所有情景中，我们的模型取得了比基准模型多达2.5倍的成功度量改善。值得注意的是，我们的模型仅在装有颗粒谷物的透明玻璃碗的数据上进行训练，但在其他不同类型的食物和碗配置上进行零样本测试时表现出泛化能力。

    Mar, 2024

  • FLAIR：通过长期视角获取逼真菜肴的喂食

    通过利用基础模型的常识和少样本推理能力以及参数化技能库，FLAIR系统可以有效地从各种技能库中选择，并在用户研究中的42个有限制性机动能力的参与者的多样化偏好下进行有效的食物获取，同时在实际评估中成功地用FLAIR系统满足有严重运动限制的护理接收者的喂食需求。

    Jul, 2024

  • RoDE: 食品大规模多模态线性整流混合专家模型

    Uni-Food是一个综合食品数据集，其中包含超过100,000张图像和各种食品标签，包括类别、成分、配方和成分级营养信息，在大型多模态模型（LMMs）中提供了更全面的食品数据分析，RoDE是一种解决多任务监督的方法，通过使用多种专家来协调可训练参数，有效提高了稀疏任务分配的效率，实验证实了该方法在解决食品相关多任务中的挑战方面的有效性。

    Jul, 2024

  • MetaFood3D：大型3D食品对象数据集及营养价值

    本研究针对现有3D数据集中缺乏营养价值的信息这一问题，提出了MetaFood3D数据集，涵盖637个精细标注的3D食品对象，包含108个类别及详细的营养信息。该数据集的创新之处在于其丰富的多模态信息，能够显著提升食品对象分析算法的性能，潜在地推动计算机视觉领域的研究进展。

    Sep, 2024