Jan, 2023

TikTalk: 一个实际闲聊的多模态对话数据集

PDF
TL;DR本文介绍了一个新型的多模式聊天对话数据集 - TikTalk，通过视频社交应用的生成视频和相应的对话对构建对话语料库，通过三种模态的数据（文本、视觉和音频），为聊天机器人的深入理解和响应的生成提出了挑战，实验结果表明，TikTalk 仍有大量改进的空间。
multi-modal chitchat dialoguetiktalk datasetvideo social applicationsdeep understandingautomatic metrics
发现论文，激发创造
  • DailyTalk: 用于会话文本转语音的口语对话数据集

    本文介绍了 DailyTalk 这一高质量的会话 TTS 数据集，该数据集包含来自开放领域对话数据集 DailyDialog 的 2534 个对话，并扩展了 LST-CNN-TTS 模型，结果表明 DailyTalk 数据集可用作通用 TTS 数据集，并且基线模型可以表示 DailyTalk 中的上下文信息。

    Jul, 2022

  • 基于游戏的视频上下文对话

    本文介绍了基于现场足球比赛视频和 Twitch.tv 聊天记录的多说话者、视觉语境下的对话数据集，利用此数据集开发出具有多模态对话技能和视觉定位应用的对话模型，并通过多项评估指标和人类评估研究验证其效果。

    Sep, 2018

  • DialogCC：大规模多模态对话数据集

    本文介绍了一种基于 CLIP 相似度的多模态对话数据集创建管道，使用这个管道，我们提出了一个大规模的多模态对话数据集 DialogCC，并且通过广泛的实验结果表明，使用我们的数据集训练多模态对话模型可以改善泛化性能，与此同时，使用我们的数据集训练的现有模型在图像和文本检索任务上取得了最先进的表现。

    Dec, 2022

  • 社交媒体上的多模式聊天数据集

    探索利用图片等多模态语境来改善对话系统，使用自然语言数据集 MMChat，通过人工筛选和过滤得到 MMChat-hf，利用注意力机制改善生成任务的稀疏性，结果表明引入图片特征的有效性和处理稀疏性的效力。

    Aug, 2021

  • 直白真实对话：面对面交流的口语对话模型

    本研究介绍了一种新颖的面对面口语对话模型，利用用户输入的音频 - 视觉语音并生成回应的音频 - 视觉语音，旨在创建一种不依赖中间文本的化身聊天机器人系统，并引入 MultiDialog，这是第一个包含约 340 小时近 9000 个对话的大规模多模态（音频和视觉）口语对话语料库。

    Jun, 2024

  • 用语义相关的图片替换文本构建多模式对话数据集

    本文提出创建一种包含图像的 45k 多模态对话数据集的方法，该方法通过准备、预处理文本对话数据集、使用文本转图像技术创建混合图像对话，以及利用基于上下文相似性的过滤步骤确保数据集的上下文一致性。自动度量和人类评估结果表明，我们的数据集可以有效地用于多模态对话系统的训练，需要以上下文感知的方式理解图像和文本。

    Jul, 2021

  • MMDialog：面向多模态开放领域对话的大规模多轮对话数据集

    本文介绍了 MMDialog 数据集、提出并规范了两个基于检索和生成场景的反应生成任务，还构建了两个基线，并提出了一种新的评估指标 MM-Relevance，用于衡量多模态反应。

    Nov, 2022

  • LiveChat: 从视听多模态环境生成视频评论

    通过创建大规模的音视频多模式对话数据集，以促进直播评论技术的发展，我们还提出了一种能够生成与视频中的时空事件以及正在进行的多模式对话上下文相吻合的实时评论的新颖多模式生成模型。

    Oct, 2023

  • LiveChat: 从直播流自动构建的大规模个性化对话数据集

    通过引入 1.33 亿真实的中文对话数据集 LiveChat，并提出基于先进技术的检索式基线方法，本研究在多方对话范围内针对回应建模和宾语识别等两个关键任务进行研究，并验证了利用人物特征和更大的平均会话数对任务的积极影响，同时还提出了当前挑战的未来方向。

    Jun, 2023

  • PhotoChat: 一份包含图像分享行为的人类对话数据集，用于联合图像 - 文本建模

    本研究提出了一个新的人对人对话数据集 - PhotoChat，该数据集是第一个关注于在线消息中照片分享行为的数据集，其中包含 12k 个对话。基于此数据集，我们提出了两个任务以促进图像文本建模的研究：一个是用于预测下一个对话回合中是否打算分享照片的照片分享意图预测任务，另一个是根据对话上下文检索最相关的照片的照片检索任务。在这两个任务中，我们使用最先进的模型提供基线模型，并报告其基准表现。最佳图像检索模型实现了 10.4％的召回率 @ 1（1000 个候选项之一），而最佳照片意图预测模型达到 58.1％的 F1 分数，表明该数据集提供了有趣而具有挑战性的现实问题。我们发布了 PhotoChat，以促进未来的研究工作。

    Jul, 2021