为体现式(机器人)交互打下动态空间关系的基础
本文提出了一个系统,用于生成和理解机器人交互设置中的动态和静态空间关系。机器人使用涵盖如 “跨越” 和 “在前面” 等空间关系的英语短语描述移动方块的环境。我们在机器人之间进行了系统评估,展示了该系统可以稳健处理视觉感知错误、语言遗漏和不符合语法的话语。
Jul, 2016
本论文提出一种文本条件化的关系网络模型,通过跨模态的注意力机制动态计算参数以捕获实体之间的精细空间关系,从而实现对文本中空间参照的理解,具有可解释性和鲁棒性,在三个任务中实现了 17% 和 15% 的表现改进,从而解决了在自主导航和机器人控制中学习空间概念表示的关键挑战。
May, 2020
本文提出了一个基于人类重心的空间和运动表示的低层次视觉处理与高层次人类中心的空间和运动表示相结合的方法来解决物体交互和室内运动等问题。
Sep, 2017
提出了一种空间语言模型用于 3D 视觉定位问题,使用基于 Transformer 的架构将空间嵌入和 DistilBert 的语言嵌入结合起来进行目标对象预测,能够在 ReferIt3D 提出的数据集上表现出竞争性,可以被应用于机器人等领域的视觉任务中。
Jul, 2021
本文认为模拟平台使得新型的具身空间推理得以实现,它由物体和事件语义的形式化模型所促进,这使得开放式、实时环境的连续定量搜索空间变得易处理。通过示例,本文说明了一种基于语义的人工智能系统如何利用游戏引擎提供的精确数值信息来执行关于物体和事件的定性推理、从数据中学习新概念、与人类进行交流以提高其模型并展示其理解。本文认为模拟环境,特别是游戏引擎,整合了许多不同的 “模拟” 概念和许多不同的技术,为开发机器和人类智能方面的人工智能系统和工具提供了高效的平台.
Feb, 2019
本文探讨了语言输入与机器人导航系统的整合,借助符号互操作假设来连接符号认知和体验性认知的鸿沟。我们研究了将语言和语义融入神经网络和同时定位与映射方法的先前工作,突出展示了这些整合如何推进了该领域的发展。通过将抽象符号处理与感知动作基础相对比,我们提出了一个统一的框架,其中语言既作为一个抽象的交际系统,又作为感知经验的基础性表示。我们对分布语义认知模型及其应用于自主代理的审查强调了语言整合系统的转变潜力。
Apr, 2024
本文研究了多模态经验、语言学习和具体到抽象的词汇发展历程,并提出了一种结合当代模型和基于词汇的模型的语义模型,并使用机器人对话系统来学习语言。
May, 2021
本文介绍并对比三种多机器人交互预测算法,包括使用直观的定性表示,纳入静态和动态上下文,采用输入和时间注意力机制,基于状态 - of-the-art 深度神经网络,利用数据驱动的预测方法和 QTC 空间交互进行运动预测。实验结果表明,纯数据驱动的预测方法通常优于其他两种方法,并进一步评估其泛化能力。
Jun, 2023
本篇研究介绍了一种基于视觉语言理解模型的单词语义组合来生成复杂指代表达式的理论,介绍了其在空间指代表达式中的应用及在语义理解中对视觉语境的影响研究。
Jun, 2011