创建多模态代理的模块化架构

Jun, 2022

A modular architecture for creating multimodal agents

Thomas Baier, Selene Baez Santamaria, Piek Vossen

TL;DR该论文描述了一个灵活且模块化的平台，用于创建多模态交互式代理。该平台通过事件总线运作，不同的传感器和组件可以通过定义它们的输入和输出作为主题来集成，从而实现进一步解释的逻辑工作流程，该交互以多模态数据记录，并在所谓的情节知识图中记录。通过分析记录的交互，我们可以分析和比较不同的代理和代理组件。

Abstract

The paper describes a flexible and modular platform to create multimodal interactive agents. The platform operates through an event-bus on which signals and interpretations are posted in a sequence in time. Different se

multimodal interaction event-bus episodic knowledge graph sensors agent components

发现论文，激发创造

Octopus v3: 在设备上的亿级多模态人工智能代理的技术报告

多模态 AI 代理通过处理和学习来自自然语言、视觉和音频输入的各种数据来指导行动，但将基于图像的数据转换为可操作结果仍然具有挑战性。本文介绍了一种多模态模型，其中包含专门为 AI 代理应用设计的功能令牌的概念，并优化为小于 1B 参数的紧凑尺寸，能够在各种边缘设备上高效运行，包括树莓派。

Apr, 2024

利用面向环境智能平台加速多模态、融合型人工智能系统的开发

本文介绍了用于多模态、综合人工智能系统的开源框架 Platform for Situated Intelligence, 提供了基础设施、工具和组件，特别适用于发展物理场景互动系统，以便更好地与人交互，如社交机器人、虚拟助手、智能会议室等，同时也讨论了该框架对 HRI 的影响。

Oct, 2020

朝着基于多智能体通信的语言学习

提出了一种交互式多模态框架，通过协作推理游戏，实现神经网络学习语言，初步实验结果可喜，但需注意避免智能体发展出仅针对游戏有效的特定通信编码。

May, 2016

多模态事件图：走向多模态世界的事件中心理解

本研究提出了多模态事件关系的新任务，并开发了一个大规模数据集和一种基于外部知识库的弱监督多模态方法，为人工智能系统实现媒体理解和跨媒体事件关系建立提供了支持。

Jun, 2022

用于模块化多任务机器学习系统的多路径代理

该研究介绍了一种新的机器学习模型生成方法，基于 agent-based system 的思想，可以通过并行计算和合作竞争的方式为多个图像分类任务生成和扩展多模块的深度学习模型。在针对每个数据样本进行的简单并行路由方法的训练下，可以提高组合解决方案的质量。

Feb, 2023

Agent AI：多模态交互视野调查

多模态人工智能系统中，基于 Agent 的多模态智能研究，通过在真实和虚拟环境中嵌入具有感知能力的智能体，能够处理和解释视觉和语境数据，以提高智能系统的上下文感知和交互能力。

Jan, 2024

电视节目的多模态摘要的模块化方法

这篇论文主要研究了如何用模块化方法总结电视节目，涉及人工智能研究中的复杂推理、多模态和长篇叙述等关键领域。作者提出了一种模块化方法，通过不同组件执行特定子任务，可以比端到端方法更灵活地实现。论文还引入了一个新的指标 —— 基于 PREFS（Summary Facts 的精确度与召回率评估）来衡量生成摘要的精确度与召回率，并将其分解为原子事实。在最近发布的 SummScreen3D 数据集上测试，该方法比其他模型生成的摘要具有更高的质量，这是通过 ROUGE 评估和新的基于事实的指标得出的。

Mar, 2024

咖啡厅场景的多模态体验互动代理

通过多模态环境记忆模块，我们提出了多模态交互式智能体（MEIA），能够将自然语言表达的高级任务转化为可执行动作序列，从而实现了大型模型与具有体现性控制的集成，实验结果展示了 MEIA 在各种交互任务中的良好表现。

Feb, 2024

AppAgent: 多模态代理与智能手机用户

该研究介绍了一种基于大型语言模型的多模态代理框架，旨在操作智能手机应用程序，通过简化的操作空间模拟人类的点击和滑动等交互，避免了系统后端访问的需求，并扩大了其适用性。代理的功能核心是其创新的学习方法，通过自主探索或观察人类示范学习并构建知识库以执行跨不同应用的复杂任务，通过在 10 个不同应用程序中进行 50 个任务的广泛测试，证明了代理在处理各种高级任务上的熟练程度。

Dec, 2023

语音代理：多模式多智能体系统下的人际交流模拟

提出了一种基于多模态 LLM 的多智能体系统 SpeechAgents，用于模拟人类交流，并通过多智能体调优增强了 LLM 的多智能体能力，实验结果表明 SpeechAgents 可以具有一致的内容、真实的节奏和丰富的情感，同时在高达 25 个代理人的情况下表现出优秀的可扩展性。

Jan, 2024