MIntRec2.0 是一个大规模的多模态意图识别基准数据集，包含 1,245 个对话，15,040 个样本，使用 30 个细粒度类别的新意图分类法进行注释，还包括 5,736 个出现在多轮对话上下文中的超范围样本。

Mar, 2024

本论文提出了一种基于聚类的框架 --MNID（多新意图检测），用于检测多个新出现的新意图，在人力预算有限的情况下更高效地重训练基础分类器，实验结果表明 MNID 在准确性和 F1 分数上优于基线方法。

May, 2022

本文介绍了一个新的多模态生物医学实验方法分类数据集 MELINDA，并使用各种最先进的自然语言处理和计算机视觉模型进行了基准测试和分析，结果表明多模态模型优于单模态模型，但仍需要改进，特别是在视觉和语言语义互相理解和转化方面以及在处理低资源域时。该文还发布了数据集和基准测试，以便未来的多模态学习研究，特别是针对科学领域的应用的目标改进的激励。

Dec, 2020

多模态推理是实现类似人类智能的人工智能系统的关键组成部分，本文介绍了多模态链式思维（CoT）技术，并提出 COACO-MMRD 数据集，通过全面评估不同方法，提供了有价值的见解和创新技术，包括多跳跨模态注意力和句级对比学习，以增强图像和文本编码器的性能，通过广泛的实验证明了所提出数据集和技术的有效性，为推进多模态推理提供了新的视角。

Jul, 2023

该文章提出了一种半监督的多模态文本识别方法（SemiMTR），通过使用自监督学习和监督学习相结合的单一阶段，将现有的多模态场景文本识别方法拓展到了未标注数据的应用。该算法利用对视觉模型的预训练和语言模型的微调，同时在每个模态单独地应用连续性正则化方法进行训练，取得了在多个场景文本识别基准测试上的最新成果。

May, 2022

通过捕获用户在网站上导航过程中的高频截图，利用多模态大型语言模型（MLLM）从这些截图中提取用户偏好的有价值洞察，基于预定义的关键词生成用户行为摘要，并将该摘要作为输入传递给 LLM 综合优化设置，从而产生量身定制的推荐，我们的实验证明了 InteraRec 在提供有价值和个性化的优惠方面的有效性。

Feb, 2024

该论文提出了一种新颖的基于学习的多模态融合框架 (BMCLOP) 用于辅助老年人，该框架结合贝叶斯多模态融合方法和批量置信度学习算法，提高准确性、降低不确定性并在交互条件下获得更可靠的结果。

May, 2024

本文提出了一种用于多语言和跨语言口语数据意图检测的系统性研究，对该研究所介绍的一个新资源（MInDS-14）进行了利用，证明使用机器翻译模型和最先进的多语言句子编码器相结合能够在大多数 MInDS-14 所涵盖的目标语言中产生强大的意图检测器，并提供了针对不同维度（如零 - shot 学习与有限 - shot 学习、翻译方向、语音识别的影响）的比较分析。我们认为这项工作是在比以往的工作更广泛的语言范围内开发和评估多语意图检测器的重要一步。

Apr, 2021

为了促进人工智能系统推断人类意图的能力的发展和评估，我们推出了一个基于物体 - 语境关系的大规模多模态视频数据集，用于意图预测，旨在实现在协作环境中具有有效和高效的人机交互。

Mar, 2023

本文提出了一种新的框架，即多模态神经数据库（MMNDBs），用于回答涉及不同输入模式（如文本和图像）的复杂类似数据库的查询，通过多媒体信息检索和多模态深度学习技术的结合，MMNDBs 能够处理来自不同模式的非结构化数据，为该领域的未来研究铺平了道路。

May, 2023