ACLMay, 2023

BIG-C：面向本巴语的多模态通用数据集

PDF
TL;DRBIG-C 是一个基于图像的 Bemba 语言的大型多模数据集，其中包含 92,000 多轮对话，180 小时的音频数据和对应的翻译，提供了语音识别、机器翻译和语音翻译等任务的基线，并且意在促进语言、语音和视觉社区之间的研究和合作。
multimodal datasetbemba languagespeech recognitionmachine translationspeech translation
发现论文，激发创造
  • DialogCC：大规模多模态对话数据集

    本文介绍了一种基于 CLIP 相似度的多模态对话数据集创建管道，使用这个管道，我们提出了一个大规模的多模态对话数据集 DialogCC，并且通过广泛的实验结果表明，使用我们的数据集训练多模态对话模型可以改善泛化性能，与此同时，使用我们的数据集训练的现有模型在图像和文本检索任务上取得了最先进的表现。

    Dec, 2022

  • BigVideo：一份大规模视频字幕翻译数据集，用于多模式机器翻译

    本研究提出了一个大规模的视频字幕翻译数据集 BigVideo，用于促进多模态机器翻译的研究；在跨模态编码器中引入了对比学习方法，结果表明视觉信息能够显著提高 NMT 模型的性能并帮助消除歧义。

    May, 2023

  • 赞比西之声：赞比亚语言的多语言语音语料库

    Zambezi Voice 为挖掘两个不同语音来源的 Zambian 众所周知，首次推出了适用于 Zambian 语言的多语言语音数据集，可用于监督和非监督的学习方法，同时利用 Wav2Vec2.0 模型进行预训练和跨语言迁移学习，构建出基于端到端的语音识别模型。

    Jun, 2023

  • 万卷：推动英文和中文大型模型的全面多模态数据集

    本文介绍了 “Wan Juan” 数据集，一个大规模多模态数据集，包括中英文数据、文本、图像文本和视频模态，总容量超过 2TB。该数据集被用于训练 InternLM 模型，在与类似规模的模型相比的多维评估中展现出显著优势。

    Aug, 2023

  • BEAT：面向对话手势合成的大规模语义和情感多模态数据集

    使用多模态数据构建最大的动作捕捉数据集 BEAT，探究人体动作相关性以及语义相关性建立基于 CaMN 的愉悦对话姿态综合模型，并且提出了语义相关性手势回溯指标 SRGR。

    Mar, 2022

  • How2：一个大规模的多模态语言理解数据集

    本研究介绍了 How2，它是一个多模态的指导视频集合，包含英文字幕和社群翻译的葡萄牙语。我们还提出了包括机器翻译、自动语音识别、口语翻译和多模态摘要在内的一些序列到序列的基础模型。通过提供多个多模态自然语言任务的数据和代码，我们希望引导更多关于多模态与语言处理的研究，以获得更加深入的了解。

    Nov, 2018

  • BigBIO: 用于数据中心的生物医学自然语言处理框架

    我们介绍了 BigBIO 项目，这是一个包含 126 个以上生物医学 NLP 数据集的社区库，可用于训练和评估语言模型，其数据集的元数据和编程访问支持元数据集合的构建，并且支持 End-to-End 的零样本任务。

    Jun, 2022

  • BAN-Cap: 一种多用途的英孟加拉图像描述数据集

    本文介绍 BAN-Cap 数据集，通过对该数据集进行基准测试，结合文本增强方法和自适应注意力模型，展示了我们的模型在孟加拉语图片字幕生成任务中的卓越性能及多功能性，包括机器翻译。

    May, 2022

  • 一个大规模的中文短文本对话数据集

    本文介绍了一个大型的、经过清洗的中文对话数据集 LCCC，包含基础版和大型版两种版本，共计 680 万和 1200 万对话。数据集的质量通过一套规则和分类器确保。此外，本文还释放了 LCCC-base 和 LCCC-large 的预训练对话模型，这些数据集和模型将有助于研究短文本对话建模。

    Aug, 2020

  • 音频 - 语言表示学习的大规模数据集

    我们提出了一种基于公共工具或 API 的创新型自动音频说明生成流程，并构建了一个大规模、高质量的音频语言数据集 Auto-ACD，其中包含超过 190 万个音频文本对。通过在我们的数据集上训练流行模型并展示在各种下游任务（包括音频语言检索、音频说明和环境分类）上的性能改进，证明了所提出数据集的有效性。此外，我们建立了一个新颖的测试集，并为音频文本任务提供了一个基准。该数据集将在此 https URL 上发布。

    Sep, 2023