不断演化软体机器人中可微分编程的严重损伤恢复
该研究提出了一种将半监督学习与通过互动学习相结合的新方法，通过观察场景变化学习和利用视觉一致性，从而实现对物体的操作。在两个基准测试中验证了该方法，取得了卓越的性能。
Jul, 2024
为了使机器人能够使用工具，我们提出了一种从人 - 物互动中学习粒度感知功能性工具握持的方法，该方法利用物体的显著特征来定位功能性作用区域并预测熟练的粗略手势。通过弱监督学习从外心图像中提取相关线索以监督视角中的特征提取，我们的方法在功能手 - 物互动图像数据集上表现出优于现有方法的效果。
Jun, 2024
评估多模态大型语言模型在机器人应用中的能力和可靠性，提出了第一个多模态 LLM for Robotic（MMRo）基准测试，并从感知、任务规划、视觉推理和安全度量等四个关键能力角度对现有模型的性能进行了实验评估，结果表明目前的模型还不足以信任其作为机器人的认知核心。
Jun, 2024
通过整合人工智能 / 机器学习（AI / ML）和数字孪生（DT）技术，工业 4.0 见证了复杂机器人的崛起。本文调查了针对 AI 和 DT 模型启用机器人的隐私攻击。讨论了 ML 模型的渗透和数据泄露，以及从一阶模型（如基于物理的模型）中提取模型的潜在能力。我们还讨论了 DT 集成机器人的设计考虑，涉及 ML 模型训练、负责任的 AI 和 DT 保障、数据治理和道德考虑对这些攻击的有效性的影响。我们主张一个可信的自治途径，强调将机器人、人工智能和数字孪生技术与强大的道德框架和可靠性原则相结合，以实现安全可靠的 AI 机器人系统。
Jun, 2024
通过模拟进化奖励功能并研究环境条件如何影响进化奖励函数的形状，本研究发现奖励系统中存在对食物获取的正向奖励和对运动行为的负向奖励，但运动行为的奖励出现了两种模式：相当正向和稍微负向，并指出在贫瘠和有毒食物环境下，奖励为次要食物的进化不稳定，而对正常食物的奖励仍然稳定，这些结果证明了模拟环境和能量依赖的出生和死亡模型在奖励系统起源研究中的实用性。
Jun, 2024
Coralai 是一个用于探索神经元元胞自动机（NCA）多样化生态系统的框架，通过使用模块化的 GPU 加速 Taichi 内核，以 HyperNEAT 和 PyTorch 实现的局部存活、合并和变异操作，实现了生物在 Coralai 中的相互作用、环境变化和进化。通过模拟黏菌行为的物理实验，展示了固定和移动生物之间的竞争、资源消耗和恢复循环以及多样化生物之间的共生关系。同时提出未来研究工作的设想，通过多尺度复杂性和多样性的度量来发现模拟参数。Coralai 的代码可在该 URL 获取，视频演示可在该 URL 获取。
Jun, 2024
本文提出了一种称为 AdaNCA 的适配器神经元细胞自动机（Adaptor Neural Cellular Automata，AdaNCA）的方法，用于 Vision Transformer，通过在 Vision Transformer 层之间插入 NCA 来增强 ViT 的性能和抵抗对抗攻击以及在分布之外的输入时的鲁棒性。在 ImageNet1K 基准测试中，AdaNCA 仅增加不到 3% 的参数，并使准确度在对抗攻击下提高了超过 10% 的绝对值。此外，通过对 8 个鲁棒性基准测试和 4 个 ViT 架构进行广泛评估，证明了 AdaNCA 作为插件模块能够一致提高 ViTs 的鲁棒性。
Jun, 2024
通过引入动态导航链和价值地图，以及零样本学习的方式，提出了 InstructNav 系统来解决多种导航指令的统一规划，该系统在任务完成上优于以往方法。
Jun, 2024
基于视频 - 语言评论家的奖励模型，可以在现有的跨体现数据上进行训练，使用对比学习和时间排序目标，对来自单独强化学习执行者的行为轨迹进行评分。在 Meta-World 任务中，通过在 Open X-Embodiment 数据上训练奖励模型，实现了比仅稀疏奖励模型更高效的策略训练，尽管存在显著的领域差异。使用 Meta-World 上的具有挑战性任务推广设置的领域数据进一步证明，相比先前使用二元分类训练的语言条件奖励模型，静态图像或不利用视频数据中的时间信息，我们的方法实现了更高效的训练。
May, 2024