Apr, 2021

SIMMC 2.0：面向任务的沉浸式多模态对话数据集

PDF
TL;DR本研究提出了一个基于真实情境的多模交互对话数据集 SIMMC 2.0，收集了 11,000 个在购物领域的用户 <-> 助手任务对话。数据集通过模拟器和手工语句改写收集，可用于对话系统的基准测试和自然语言处理研究。
task-oriented dialog systemsmultimodal contextsimmc 2.0shopping domainnatural language processing
发现论文，激发创造
  • 多模态交互对话

    本研究介绍了一种新的指向培训具有多模态输入上下文的代理，以及执行与其相关的多模态操作的模型 SIMMC，提供了两个 SIMMC 数据集，以及多个评估协议。

    Jun, 2020

  • 使用预训练单模型进行 SIMMC 2.0 的多模态交互

    本文介绍了我们在 Dialog State Tracking Challenge 10 上进行的 Situated Interactive MultiModal Conversations 2.0 挑战中的工作和方法，提出了一种结合图像和文本的多模态模型，并对 SIMMC 2.0 数据集进行了挑战。通过预先训练模型，我们在 subtask＃1，＃2 中取得了第三佳表现，并在生成 subtask＃4 中获得亚军。

    Dec, 2021

  • SIMMC: 多模态对话数据收集和评估平台

    SIMMC is a platform for multi-modal conversational data collection and evaluation of digital virtual assistants through an immersive setup, with the aim of providing a situated conversational dataset for the Conversational AI research community.

    Nov, 2019

  • MMDialog：面向多模态开放领域对话的大规模多轮对话数据集

    本文介绍了 MMDialog 数据集、提出并规范了两个基于检索和生成场景的反应生成任务，还构建了两个基线，并提出了一种新的评估指标 MM-Relevance，用于衡量多模态反应。

    Nov, 2022

  • 坐标对话中的多模态物体识别

    通过探索三种方法并在 SIMMC 2.1 数据集上进行评估，我们提出了一种最有效的方法 —— 场景对话对齐，相较于 SIMMC 2.1 基准提升了约 20% 的 F1 分数。我们还分析和讨论了该方法的局限性以及未来研究的潜在方向。

    Feb, 2023

  • 利用任务导向对话系统导航连接的记忆

    本文提出一种通过多轮互动对话进行个人媒体检索的方法，并利用一个基于任务的数据集 COMET 对其进行评估和基准测试。

    Nov, 2022

  • 社交媒体上的多模式聊天数据集

    探索利用图片等多模态语境来改善对话系统，使用自然语言数据集 MMChat，通过人工筛选和过滤得到 MMChat-hf，利用注意力机制改善生成任务的稀疏性，结果表明引入图片特征的有效性和处理稀疏性的效力。

    Aug, 2021

  • JDDC 2.0 语料库：面向电子商务客服的大规模多模态多轮中文对话数据集

    为了解决多模态对话中图像与文本之间的差距，我们构建了一个包含图像、产品知识库和文本的大规模数据集 JDDC 2.0，并给出了基于此数据集的顶尖团队的解决方案，为进一步研究多模态对话任务提供了有价值的启示。

    Sep, 2021

  • 讲述你的故事：面向任务的对话式交互内容创作

    通过构建基于任务的对话方式，我们提出了一种新颖的交互式工具来搜索、编译和编辑媒体集合中的蒙太奇，并在收集的数据集和基准测试中展示了多模式挑战的挑战性。

    Nov, 2022

  • 主观偏好下的多模式推荐对话：一项新的挑战和基准测试

    该研究介绍了一个名为 SURE 的新数据集，其中包含人类主观偏好和销售专家提出的推荐行为，用于评估多模态推荐代理的能力，并提出了一个基于 SURE 的基准模型。

    May, 2023