泛模态信息交互
研究发现，多模态交互在聊天机器人对话中显著提升了用户参与度，尤其是通过三个模态的结合，可以进一步增强用户参与度和信息理解，这为聊天机器人设计提供了有价值的洞见，并向广大人工智能社区阐述了多模态交互在提升用户参与度方面的益处。
Jun, 2024
本研究关注于采用多模态人工智能实现诸如完成句子或回答问题等任务，探讨其伦理评估的挑战，并通过互动式人类反馈创造一个多模态伦理数据库，然后利用该数据库构建算法对模型的道德性进行自动评估，包括 RoBERTa 和多层感知器分类器等。
Apr, 2023
该研究全面探讨了多模态人工智能方法在教育环境中实现通用人工智能的途径，着重分析了人工智能在教育系统中的演进和整合，强调多模态学习（包括听觉、视觉、动觉和语言学习）的重要作用，研究深入探讨了通用人工智能的关键方面，包括认知框架、高级知识表示、自适应学习机制、战略规划、复杂语言处理和多样的多模态数据源整合，并批判性评估了通用人工智能在重塑教育范式、提高教学和学习效果、填补现有方法论空白以及在教育环境中解决伦理考量和负责任使用方面的潜力。该论文还讨论了多模态人工智能在教育中的意义，并提供对通用人工智能发展中未来方向和挑战的洞察。这项研究旨在为人工智能、多模态和教育的交叉领域提供细致的理解，为通用人工智能的未来研究和发展奠定基础。
Dec, 2023
多模态人工智能系统中，基于 Agent 的多模态智能研究，通过在真实和虚拟环境中嵌入具有感知能力的智能体，能够处理和解释视觉和语境数据，以提高智能系统的上下文感知和交互能力。
Jan, 2024
多模态搜索系统结合图像和文本，通过增强匹配能力、推理能力和上下文感知的查询解析和重写，提供用户与其搜索意图自然有效的交互。在 Fashion200K 数据集上，我们引入了一种新颖的多模态搜索模型，并提出了结合大型语言模型的搜索界面，以实现与用户的对话式互动和上下文考虑的搜索体验的升级，为购物助手提供了类人交互和全面的搜索体验。
Apr, 2024
本文介绍了多模态与跨模态人工智能技术在智能数据分析中的作用和应用，并提出了一个新的多模态与跨模态人工智能框架 (MMCRAI) 以平衡两种技术，在跨领域应用中取得良好的效果。
Sep, 2022
该研究综述了生成模型的历史和基本组成部分，并从单模态和多模态交互的角度介绍了文本和图像生成任务及相关模型，讨论了人工智能生成内容领域中的开放性问题和未来挑战。
Mar, 2023