Jun, 2024

构建 AI 观察器：生成语义工作空间

PDF
TL;DR经验丰富的人类观察者阅读文件（如犯罪报告），创建一个简洁的类似情节的 “工作记忆”，其中包括不同的参与者、他们在任何时刻的典型角色和状态、基于他们的互动的演变，甚至是关于未来可能出现的丢失语义部分的地图。目前尚不存在等效的 AI 观察者。我们引入了生成式语义工作空间（GSW），其中包括 “运营商” 和 “调解人”，利用 LLMs 的进展创建了一个生成式语义框架，而不是传统预定义的词汇标签集。GSW 在多个任务上优于众所周知的对照组，并通过反映真实观察者的方式，为理解个人意图和预测未来行为的空间计算助手提供了第一步。
working memorygenerative semantic workspaceoperatorreconcilerspatial computing assistants
发现论文，激发创造
  • 远程监视的代理驱动生成语义通信

    在 6G 时代，智能交通系统、数字孪生、远程监控有望成为普遍实践。为了解决无线网络中庞大数据量和频繁更新的挑战，本文提出了一种基于强化学习的新型代理驱动生成语义通信（A-GSC）框架。通过无缝地结合源信息的内在属性和任务相关的情境信息，本研究在语义通信领域进行了创新，同时引入了生成人工智能（GAI），实现了语义编码器和解码器的独立设计。在实证分析中，基于 CDNet2014 数据集验证了所设计模型的有效性，并证明了整体 A-GSC 框架在节能和重构准确性方面的性能提升。

    Apr, 2024

  • GSRFormer: 基于交替语义注意力精炼的基础情境识别转换器

    本文提出了一种基于双向关系的新的两阶段框架，旨在利用动词和语义角色之间的双向关系，生成结构化的图像语义摘要，实现类人事件理解，实验结果表明该框架在挑战性的 SWiG 基准测试中优于其他最先进的方法。

    Aug, 2022

  • 语义手势生成器：语义感知的共语手势合成

    Semantic Gesticulator 是一个新颖的框架，旨在通过强有力的语义对应性合成伴随语音的逼真手势，通过大型语言模型的生成检索框架，有效地从动作库中检索合适的语义手势候选，以生成与语音节奏相匹配的高质量手势，通过语义对齐机制确保最终动画的自然性，证明了系统在生成节奏一致和语义明确的手势方面的稳健性。

    May, 2024

  • 工作记忆图

    本研究旨在研究如何使用基于 Transformer 的模型来提高序列决策智能体的性能，并提出了 Working Memory Graph（WMG）代理程序，评估其在三种环境中的作用，并发现基于观测空间的因数组合 WMG 的 Transformer-based 架构可以显著提高其在 RL 环境中的样本使用效率。

    Nov, 2019

  • 软件工程的更高智能化

    通过开发新一代的 “Morescient” GAI 模型和相应的软件观测平台，该论文展示了如何根据开放科学原则构建、演进和传播这种同时理解软件语义和静态结构的生成型人工智能模型。

    Jun, 2024

  • 优化以对象为中心的世界模型的生成想象力

    本文提出了一种叫做 G-SWM 的生成结构化世界模型，它通过整合前一些模型的关键特征，并通过实现两种关键的新能力（多模态不确定性和情境感知），实现了多功能世界建模，并在时间生成能力上表现出色，达到了前所未有的性能。

    Oct, 2020

  • 重新思考基于场景的情境识别的双阶段框架

    该论文提出了一种新的包含粗粒度到细粒度动词模型和基于 Transformer 的名词模型的 SituFormer 方法，用于地面情境识别，其全面探索了角色之间的统计依赖关系，相比其他方法在各种指标下具有显著性提升，代码公开可用。

    Dec, 2021

  • 元语义学：迈向更好的自然语言理解和推理

    本文提出了两种解决 out-of-vocabulary 问题的策略和一个语义模型，以解决传统深度神经网络和基于规则的方法在自然语言理解上所面临的挑战。

    Apr, 2023

  • 鲁棒自然语言处理 - 结合推理、认知语义学和构式语法处理空间语言

    本文提出了一个系统，用于生成和理解机器人交互设置中的动态和静态空间关系。机器人使用涵盖如 “跨越” 和 “在前面” 等空间关系的英语短语描述移动方块的环境。我们在机器人之间进行了系统评估，展示了该系统可以稳健处理视觉感知错误、语言遗漏和不符合语法的话语。

    Jul, 2016

  • 面向高层自然语言指令执行的持久性空间语义表示

    该研究介绍了一种基于持久化空间语义表达的方法，旨在通过实现分层推理，实现机器人代理人执行自然语言指定的长期任务，获得了 ALFRED 测试中最先进的表现。

    Jul, 2021