本文提出了 NS3D 三维场景认知神经符号框架,通过使用基于大规模语言编程模型的层级结构来将语言翻译为程序,不同的功能模块实现为神经网络,并引入管高度关系的功能模块有效地推理复杂场景中物体之间的关系,在数据效率和泛化方面表现出色,在 3D 视角相关任务 ReferIt3D 上获得了最先进的结果。
Mar, 2023
本篇研究介绍了一种基于视觉语言理解模型的单词语义组合来生成复杂指代表达式的理论,介绍了其在空间指代表达式中的应用及在语义理解中对视觉语境的影响研究。
Jun, 2011
使用谷歌的翻译翻译:“该论文介绍了基于变压器的模型如何理解世界,并将语言表达与现实世界联系起来,这对研究者在这一领域的工作非常有帮助。通过在基于网格的导航任务上进行的基准测试,我们发现识别网格世界中的目标位置是模型面临的主要挑战,变压器可以泛化到更深的输入结构,并提供了一种更简单的基于调节的组合任务,以调查变压器的计算行为。
Oct, 2022
本文介绍了一个新的基准测试 gSCAN,用于评估位于语言理解中的组成泛化,在语言描述中使用诸如 “在摩天轮旁边向粉色布朗托蜥蜴问候” 等常见词汇,并将其用于语言理解任务。测试发现,在需要系统的组成规则的情况下,强大的多模态基线模型和最先进的组成方法在大多数情况下都会明显地失败。
Mar, 2020
本文提出了一种基于图卷积神经网络的组合余弦图嵌入方法,通过估计每种未知组合的可行性得分,进而提高其在余弦相似度损失函数中的权重,并在开放世界场景中实现了最先进的表现。
May, 2021
神经符号学习中的符号基础问题是人工智能中的一个基本问题。本文提出了一种新的、软化的符号基础过程,能够桥接神经网络训练和符号约束求解两个分离的领域,从而构建一个高效且有效的神经符号学习框架,并通过实验证明该框架具有优越的符号基础能力。
Mar, 2024
该研究介绍了一个名为 ConceptWorld 的环境,用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力,并提出了一个潜在的基准模型,以鼓励在构成和关系领域有效泛化的模型的发展。
Jun, 2020
本文研究基于强化学习的面向对象环境下的组合泛化,提出算法 Homomorphic Object-oriented World Model(简称 HOWM),并将其与其他算法相比较,结果表明我们的算法具有实现高效软组合泛化能力。
Apr, 2022
本研究基于观察到实现 gSCAN 任务的关键在于在进行 navigate 操作之前确认 target object 和转化成序列的理念,提出了一个基于注意力机制改进的模型和一个辅助损失函数,该方法对两个组合任务具有很好的性能且验证了 gSCAN 作为评估模型组合能力的基准任务的相关性。
Sep, 2020
提出通过遵循组成性原则来训练神经网络解决语言理解的挑战,并通用地应用于多种领域,进而提高机器人的安全性和公平性,所提出的网络能够显着提高自然语言理解能力,且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。
Aug, 2020