本研究提出并评估了一种综合人工智能在医学领域的框架（HAIM），以促进利用多模态输入实现人工智能系统的生成和测试，该框架可在医疗保健环境中进行研究和部署，并通过使用 Shapley 值量化每个模态和数据源的贡献，展示了多模态输入在不同医疗任务中的必要性。

Feb, 2022

通过综合一系列理论框架和应用领域，该论文旨在推进多传感器人工智能的机器学习基础。它首先提出了一个理论框架，形式化描述不同感知模态之间的相互作用，以获取任务的新信息。其次，研究了可广泛泛化于多个模态和任务的实用多模态基础模型的设计。最后，讨论了如何利用这些思想开展未来工作，以实现更普遍、互动和安全的多传感器人工智能。

Apr, 2024

本文认为模拟平台使得新型的具身空间推理得以实现，它由物体和事件语义的形式化模型所促进，这使得开放式、实时环境的连续定量搜索空间变得易处理。通过示例，本文说明了一种基于语义的人工智能系统如何利用游戏引擎提供的精确数值信息来执行关于物体和事件的定性推理、从数据中学习新概念、与人类进行交流以提高其模型并展示其理解。本文认为模拟环境，特别是游戏引擎，整合了许多不同的 “模拟” 概念和许多不同的技术，为开发机器和人类智能方面的人工智能系统和工具提供了高效的平台.

Feb, 2019

该论文描述了一个灵活且模块化的平台，用于创建多模态交互式代理。该平台通过事件总线运作，不同的传感器和组件可以通过定义它们的输入和输出作为主题来集成，从而实现进一步解释的逻辑工作流程，该交互以多模态数据记录，并在所谓的情节知识图中记录。通过分析记录的交互，我们可以分析和比较不同的代理和代理组件。

Jun, 2022

多模态人工智能系统中，基于 Agent 的多模态智能研究，通过在真实和虚拟环境中嵌入具有感知能力的智能体，能够处理和解释视觉和语境数据，以提高智能系统的上下文感知和交互能力。

Jan, 2024

SIMMC is a platform for multi-modal conversational data collection and evaluation of digital virtual assistants through an immersive setup, with the aim of providing a situated conversational dataset for the Conversational AI research community.

Nov, 2019

人工智能（AI）已经彻底改变了人类的认知能力，并促进了能够与人类在物理和虚拟环境中进行交互的新型 AI 实体的发展。我们介绍了一个统一表示形式 —— 对称现实框架，它能包括各种物理 - 虚拟融合的形式，从而让从更广泛的角度理解 AI 实体如何与人类协作以及如何巩固不同的物理 - 虚拟整合技术路径。我们提出了一个 AI 驱动的主动辅助服务的示例，展示了对称现实系统在特定任务（如倒水）中的运作，并为不同领域的研究人员和实践者提供有益的观点和指导，从而为人工智能与人类在物理和虚拟环境中的共存的持续研究做出贡献。

Jan, 2024

2022 年 4 月，圣菲研究所主办了一次有关具体、情境和基于实体的智能的工作坊，旨在探讨人工智能建设中具体化方面的相关问题，集合了计算机科学家、心理学家、哲学家、社会科学家等专业学者进行讨论，总结了各演讲主题、讨论内容，并确定了未来研究的重点领域。

Oct, 2022

通过深度学习使自主系统能够在感知的亚符号方式下逐渐理解对象及其环境，执行对象检测、传感器数据融合和语言理解任务。为了实现强大的人工智能，我们需要考虑人类提供的显式教学和通过观察人类行为获得的隐式教学，同时设计多模态输入和输出能力的系统以支持隐式和显式交互模型。我们提出了几个假设和设计指南，并通过相关工作的一个用例来实现这个目标。

Sep, 2023

通过将现实解读为信息源，并将其转化为计算框架，我们提出了一种新颖的建模方法，从而接近于人工通用智能。该框架可以以流动可扩展的分层方式构建经典的认知架构元素，如长期记忆和工作记忆。

Jun, 2024