ICLRMar, 2024

MIntRec2.0：一个用于对话中多模态意图识别和超范围检测的大规模基准数据集

PDF
TL;DRMIntRec2.0 是一个大规模的多模态意图识别基准数据集，包含 1,245 个对话，15,040 个样本，使用 30 个细粒度类别的新意图分类法进行注释，还包括 5,736 个出现在多轮对话上下文中的超范围样本。
发现论文，激发创造
  • MIntRec：一个新的多模态意图识别数据集

    这篇论文介绍了一个新的数据集（MIntRec）来解决现有意图识别方法在实现多模态信息利用方面的限制。使用该数据集，通过提取每种模态的特征并采用三种强大的多模态融合方法，可以显著提高意图识别的效果。

    Sep, 2022

  • 意图分类和超出范围预测的评估数据集

    该研究旨在通过引入包括超出支持意图范围的查询的新数据集来评估范围内 / 超出范围的分类器及其性能，以更严谨、更真实地评估用于任务驱动对话系统中的文本分类。

    Sep, 2019

  • SIMMC 2.0：面向任务的沉浸式多模态对话数据集

    本研究提出了一个基于真实情境的多模交互对话数据集 SIMMC 2.0，收集了 11,000 个在购物领域的用户 <-> 助手任务对话。数据集通过模拟器和手工语句改写收集，可用于对话系统的基准测试和自然语言处理研究。

    Apr, 2021

  • MMDialog：面向多模态开放领域对话的大规模多轮对话数据集

    本文介绍了 MMDialog 数据集、提出并规范了两个基于检索和生成场景的反应生成任务，还构建了两个基线，并提出了一种新的评估指标 MM-Relevance，用于衡量多模态反应。

    Nov, 2022

  • 使用预训练单模型进行 SIMMC 2.0 的多模态交互

    本文介绍了我们在 Dialog State Tracking Challenge 10 上进行的 Situated Interactive MultiModal Conversations 2.0 挑战中的工作和方法，提出了一种结合图像和文本的多模态模型，并对 SIMMC 2.0 数据集进行了挑战。通过预先训练模型，我们在 subtask＃1，＃2 中取得了第三佳表现，并在生成 subtask＃4 中获得亚军。

    Dec, 2021

  • 社交媒体上的多模式聊天数据集

    探索利用图片等多模态语境来改善对话系统，使用自然语言数据集 MMChat，通过人工筛选和过滤得到 MMChat-hf，利用注意力机制改善生成任务的稀疏性，结果表明引入图片特征的有效性和处理稀疏性的效力。

    Aug, 2021

  • 信息搜索对话中用户意图的分析与表征

    本研究介绍了一个新的数据集，用于分析信息搜寻对话的用户意图分布、共同出现和流程模式，并利用 MSDialog 数据集发现了一些可用于设计对话式搜索系统的高频用户意图模式。

    Apr, 2018

  • MINT-1T：将开源多模态数据放大 10 倍：一万亿令牌的多模态数据集

    介绍了迄今为止最广泛且多样化的开源多模态交错数据集 MINT-1T，其中包括十亿个文本标记和三十亿个图像，并分享了在该数据集上训练的大型多模态模型 LMMs 的性能与之前领先数据集 OBELICS 相媲美。

    Jun, 2024

  • DialogCC：大规模多模态对话数据集

    本文介绍了一种基于 CLIP 相似度的多模态对话数据集创建管道，使用这个管道，我们提出了一个大规模的多模态对话数据集 DialogCC，并且通过广泛的实验结果表明，使用我们的数据集训练多模态对话模型可以改善泛化性能，与此同时，使用我们的数据集训练的现有模型在图像和文本检索任务上取得了最先进的表现。

    Dec, 2022

  • 用语义相关的图片替换文本构建多模式对话数据集

    本文提出创建一种包含图像的 45k 多模态对话数据集的方法，该方法通过准备、预处理文本对话数据集、使用文本转图像技术创建混合图像对话，以及利用基于上下文相似性的过滤步骤确保数据集的上下文一致性。自动度量和人类评估结果表明，我们的数据集可以有效地用于多模态对话系统的训练，需要以上下文感知的方式理解图像和文本。

    Jul, 2021