机器学习在医疗人工智能系统中的应用，从传统和统计方法转向深度学习模型甚至最近的生成模型。近年来，发现了支持多模态数据集成的广泛可用的深度学习架构，尤其是针对图像的。将多种模态融入到这些模型中是一个蓬勃发展的研究课题，提出了独特的挑战。本文讨论了针对医学基于图像的临床决策支持模型的多模态人工智能的五大挑战（表示、融合、对齐、翻译和协同学习），并调查了近期解决这些挑战的方法。我们最后讨论了该领域的未来，并提出了在成功的临床模型及其在临床环境中的转化方面应进一步阐明的方向。

Nov, 2023

本研究论文系统地总结了交互模型分析的三大类任务：理解、诊断和改进，旨在帮助用户高效解决实际的人工智能和数据挖掘问题，同时探讨了相关未来研究机会。

Feb, 2017

本文介绍了利用自然语言任务进行协作的实体代理模型，发展出了可扩展的数据收集工具，并采集了互动立足语言理解的第一个数据集，以便进一步研究机器模拟人类智能适应新任务与环境的能力。

Nov, 2022

本研究通过对人与虚拟人物互动对话进行语言学、组织结构及结构分析，提出了为机器创建面对面多模态界面的必要性，并观察了多模态动作和事件的分布，数据表明需要在多模态融合层之外增加一个控制层来组织会话流、集成社会背景以及拟定进展计划，需要将会话分析、认知科学和心智理论等内容融入到界面系统中。

Nov, 2022

通过深度学习使自主系统能够在感知的亚符号方式下逐渐理解对象及其环境，执行对象检测、传感器数据融合和语言理解任务。为了实现强大的人工智能，我们需要考虑人类提供的显式教学和通过观察人类行为获得的隐式教学，同时设计多模态输入和输出能力的系统以支持隐式和显式交互模型。我们提出了几个假设和设计指南，并通过相关工作的一个用例来实现这个目标。

Sep, 2023

使用机器学习方法，为教育人员开发了一种新工具，可以自动化、概括并及时反馈进行讲座的过程，通过识别讲座视频录像中的教学和行为特征，提供交互式图表和表格的概述，并支持基于教学内容的讲座比较。

Jun, 2024

通过多模态环境记忆模块，我们提出了多模态交互式智能体（MEIA），能够将自然语言表达的高级任务转化为可执行动作序列，从而实现了大型模型与具有体现性控制的集成，实验结果展示了 MEIA 在各种交互任务中的良好表现。

Feb, 2024

本研究采用多模态学习分析（MMLA）来分析护理教育中 ABCDE 过程中的行为动态，重点关注凝视熵、手部运动速度和接近度等因素。利用加速度计和眼动技术生成行为图来描述各个过程阶段。研究结果发现，这一过程包括四个主要阶段，其特征是视觉注意、手部动作和接近病人或仪器的不同模式。研究结果表明，MMLA 可以为医学教育中的临床操作能力提供有价值的洞见。该研究强调了 MMLA 在对临床操作及其固有复杂性进行详细客观评估方面的潜力。

Dec, 2023

通过综合一系列理论框架和应用领域，该论文旨在推进多传感器人工智能的机器学习基础。它首先提出了一个理论框架，形式化描述不同感知模态之间的相互作用，以获取任务的新信息。其次，研究了可广泛泛化于多个模态和任务的实用多模态基础模型的设计。最后，讨论了如何利用这些思想开展未来工作，以实现更普遍、互动和安全的多传感器人工智能。

Apr, 2024

该研究全面探讨了多模态人工智能方法在教育环境中实现通用人工智能的途径，着重分析了人工智能在教育系统中的演进和整合，强调多模态学习（包括听觉、视觉、动觉和语言学习）的重要作用，研究深入探讨了通用人工智能的关键方面，包括认知框架、高级知识表示、自适应学习机制、战略规划、复杂语言处理和多样的多模态数据源整合，并批判性评估了通用人工智能在重塑教育范式、提高教学和学习效果、填补现有方法论空白以及在教育环境中解决伦理考量和负责任使用方面的潜力。该论文还讨论了多模态人工智能在教育中的意义，并提供对通用人工智能发展中未来方向和挑战的洞察。这项研究旨在为人工智能、多模态和教育的交叉领域提供细致的理解，为通用人工智能的未来研究和发展奠定基础。

Dec, 2023