- 短期物体交互预期的可供性和注意力模型
短期物体交互预测通过检测下一个活动物体的位置、交互的名词和动词类别以及从自我中心视频观察中计算接触时间,对于可穿戴助手或人机交互理解用户目标至关重要。本文提出了 STAformer,一种新的基于注意力机制的架构,将帧引导的时间池化、双重图像 - 功能融合网络
我们提出了一个模型,将对象、动作和效果统一为单一的潜在表示,在共享的感知空间中建立了被称为行动潜力空间的各种行为潜能。使用这个行动潜力空间,我们的系统能够在给定动作和对象时生成效果轨迹,并且能够在给定效果轨迹和对象时生成动作轨迹。
- 层次主动推断中的动态规划
通过动态规划,我们指的是人脑推断和施加与认知决策相关的运动轨迹的能力。最近的范式 —— 主动推断,为生物有机体的适应提供了基本见解,不断努力减小预测误差以限制在适合生活的状态中。在过去的几年中,许多研究表明,人类和动物行为可以用主动推断的过 - 构建以人工智能为辅助的设计未来:动态定位,建设性谈判与可持续动力
我们设想了一个涉及人工智能技术的未来设计工作流程,从活动和沟通理论中汲取灵感,试图确定大型 AI 模型相对于过去的技术能够为设计带来的新价值。我们确定了三个机会 —— 动态基础、建设性协商和可持续动机 —— 它们总结了自然语言启用的基础模型 - 使用贝叶斯网络的高斯混合模型进行操作能力学习
通过感知体验,探索世界并从中自主学习,以高准确性学习行动对象和效果之间的关系描述(affordances)是机器人的关键问题之一。本文采用高斯混合模型(GMM)对传感器进行概率表示,并明确考虑了每个离散行动概念中所包含的概率分布,以提高学习 - 灵巧功能抓握
本文旨在结合两种方法,实现对自然环境中物体的功能性抓取。首先,通过匹配不同物体的相应区域来获取各物体的可负担性,然后在模拟中运行一个经过训练的低级策略来抓取物体。我们提出了一种新颖的使用特征抓取来减少强化学习搜索空间的应用,使用少量人类数据 - 基于基础模型的一次打开可行性学习
介绍了一种单次打开机会学习(OOAL)方法,通过仅使用基本目标类别的一个示例进行训练,但可以识别新的对象和作用条件。实验表明,该方法在两个作用条件分割基准测试中胜过了现有模型,仅使用不到全量训练数据的 1%,并展现了对未知对象和作用条件的合 - 神经逻辑人 - 物体交互检测
使用神经逻辑推理和 Transformer 来推断实体之间的可行互动,通过改进 Transformer 的自注意机制,使用逻辑约束学习过程,提高性能和零样本泛化能力。
- 具有显式上下文表示的深度强化学习
该研究提出了一种离散环境中的 Iota 显式上下文表示 (IECR) 框架,通过提取上下文关键帧 (CKFs) 实现了从环境中学习,并使用新算法在五个离散环境中取得了显著优于现有算法的收敛效果。
- ICCVCoTDet:专注于任务驱动的物体检测的能力知识引导
本文提出了基于任务驱动的物体检测方法,通过探索基本意义而非物体类别来提取关键属性,并使用多级思维链激励法从大规模语言模型中提取与任务、物体示例和关键视觉属性相关的知识。进一步,我们提出了一种知识条件检测框架 CoTDet,有效利用知识来增强 - VoxPoser:使用语言模型构建可组合的三维价值地图,实现机器人操作
使用大型语言模型综合视觉 - 语言模型,生成适用于各种机器人操作的闭环轨迹。
- 基于贝叶斯深度学习的图像感知分割
提出了一种基于深度贝叶斯网络的探测物体可提供的作用及分布的算法,使用 Monte Carlo Dropout 优化了模型的准确度并在 Mask-RCNN 结构上做了修改,利用新的概率模型检测出语义和空间上的不同,并通过比较二进制掩码而非预测 - 超越物体识别:朝向物体概念学习的新基准
本研究介绍了一个挑战性的物体概念学习 (OCL) 任务,旨在推动物体理解的发展,要求机器推理出物体的可负担性和同时给出推理:什么属性使物体具有这些可负担能力,并建立了一个密集注释的知识库来支持 OCL。我们提出了一个基于因果干预和概念实例化 - 以交互为预训练的地面功能表示学习
借助神经网络建模物体状态,可以实现有效的物体功能信息提取并与传统语义学模型相结合,能够在基于图像的语言学习上取得更好的表现。
- 有机体和机器进化之间的断层:混合微生物群落与机器的对比
本文从混合微生物群落的系统视角出发,探讨了显形空间的拓展对于生物进化中 afforances 的关键作用,与机器和机器人的人工进化进行了对比,并提出了实验方法。
- GrASP: 基于梯度的可供性选择规划
本篇论文主要探讨在大规模强化学习领域中,如何解决在使用树搜索规划时处理连续动作空间的问题,并通过学习选取能够有助于规划的可接受行为(Affordances),并以基于梯度下降的方法更新其参数,从而实现同时学习选取单元行为和规划带有学习后价值 - 选择的悖论:在分层强化学习中使用注意力
本文提出了一个注意机制来限制每个步骤的可用选项,通过学习 affordances 并进一步学习子目标选项,解决了层次强化学习中规划深度和分支因素的问题,并探讨了硬注意和软注意的作用,是一篇关于强化学习的研究论文。
- ICLR价值函数空间:面向技能的状态抽象实现长程推理
该论文探讨了如何使用层次强化学习来解决长期任务中存在的性能问题,并提出了一种名为 Value Function Spaces 的状态抽象方法,通过利用对应于每个低层技能的价值函数来表示任务相关信息,从而在迷宫解决和机器人操纵等任务中提高了性 - IJCAI为机器人代理建立适用关系 - 一项综述
本文回顾了在机器人任务中使用借助能力概念的不同策略,并构建这些方法以提供指导,包括能力作为提高自主性的机制。最后,我们确定并讨论了一系列有趣的借助能力研究方向,这些方向有潜力提高 AI 代理的能力。
- 深度可供性预见:通过未来可实现的行动计划
本文提出了一种新的 affordance 表示,使机器人可以通过建模未来的 affordance 来推断长期效应,从而确定实现任务目标的最佳动作。通过该新表示,我们开发了一种 learning-to-plan 方法,Deep Afforda