Nov, 2022

讲述你的故事：面向任务的对话式交互内容创作

PDF
TL;DR通过构建基于任务的对话方式，我们提出了一种新颖的交互式工具来搜索、编译和编辑媒体集合中的蒙太奇，并在收集的数据集和基准测试中展示了多模式挑战的挑战性。
media montagestask-oriented dialogsmulti-turn conversationsconversational content creationstate-of-the-art language models
发现论文，激发创造
  • 利用任务导向对话系统导航连接的记忆

    本文提出一种通过多轮互动对话进行个人媒体检索的方法，并利用一个基于任务的数据集 COMET 对其进行评估和基准测试。

    Nov, 2022

  • SIMMC 2.0：面向任务的沉浸式多模态对话数据集

    本研究提出了一个基于真实情境的多模交互对话数据集 SIMMC 2.0，收集了 11,000 个在购物领域的用户 <-> 助手任务对话。数据集通过模拟器和手工语句改写收集，可用于对话系统的基准测试和自然语言处理研究。

    Apr, 2021

  • 用语义相关的图片替换文本构建多模式对话数据集

    本文提出创建一种包含图像的 45k 多模态对话数据集的方法，该方法通过准备、预处理文本对话数据集、使用文本转图像技术创建混合图像对话，以及利用基于上下文相似性的过滤步骤确保数据集的上下文一致性。自动度量和人类评估结果表明，我们的数据集可以有效地用于多模态对话系统的训练，需要以上下文感知的方式理解图像和文本。

    Jul, 2021

  • 交替任务和非任务内容的对话系统学习

    本文提出了一种基于交替任务导向的社交对话框架，该框架使用强化学习算法训练策略，以维持长时间的会话连贯性和一致性，使系统能够在任务和非任务内容之间实现平滑的过渡。实验表明，将社交对话内容与任务对话相结合的系统比纯任务导向的系统具有更好的任务成功率和更高的用户参与度。

    Mar, 2017

  • 保持一致性：通过迭代多智能体通信从图像流中进行主题感知的故事叙述

    本研究提出了一种新的视觉叙述方法，引入话题描述任务来检测图像流的全局语义背景，并通过多代理通信框架将话题描述生成器与故事生成器合并学习，实验结果表明该方法在生成故事方面具有比现有方法更高的质量。

    Nov, 2019

  • 通过交互式视觉问题生成和回答定制图像叙述生成

    本文提出了定制化的图像叙事生成任务，通过用户交互式参与生成过程，并尝试通过反复交互阶段来学习用户的兴趣，从而自动生成更广泛主题的多样化描述，同时可针对交互目标进行定制化。

    Apr, 2018

  • MMDialog：面向多模态开放领域对话的大规模多轮对话数据集

    本文介绍了 MMDialog 数据集、提出并规范了两个基于检索和生成场景的反应生成任务，还构建了两个基线，并提出了一种新的评估指标 MM-Relevance，用于衡量多模态反应。

    Nov, 2022

  • DialogCC：大规模多模态对话数据集

    本文介绍了一种基于 CLIP 相似度的多模态对话数据集创建管道，使用这个管道，我们提出了一个大规模的多模态对话数据集 DialogCC，并且通过广泛的实验结果表明，使用我们的数据集训练多模态对话模型可以改善泛化性能，与此同时，使用我们的数据集训练的现有模型在图像和文本检索任务上取得了最先进的表现。

    Dec, 2022

  • 在任务导向对话数据集中寻找开放领域对话片段

    结合话题建模，研究 Schema-Guided Dialogues 和 MultiWOZ 的训练集，发现社交对话序列的存在，进一步推动了如何将闲聊融入任务导向对话的研究。

    Nov, 2023

  • 任务导向的对话数据集并非对话型的！

    本文通过分类对话和上下文效果，分析 MultiWOZ，SGD 和 SMCalFlow 等最近和广泛使用的任务型对话数据集，发现少于 4％的 MultiWOZ 的句子和 10％的 SGD 的句子具有对话效果，而 SMCalFlow 在其当前版本中根本不具有对话效果。

    Mar, 2022