May, 2023

CN-Celeb-AV：一个用于人物识别的多类型音视频数据集

PDF
TL;DR本文介绍了一种名为 CN-Celeb-AV 的多类型音视频人物识别数据集，其中包含了超过 420K 个视频片段，比起传统数据集更符合真实世界场景，适用于 AVPR 领域的研究。
audio-visual person recognitionavprmulti-genre avpr datasetcn-celeb-avreal-world scenarios
发现论文，激发创造
  • CN-CELEB：一个具有挑战性的中文说话人识别数据集

    本文介绍了 CN-Celeb 数据集，它是一个大规模的演讲者识别数据集，收集了来自 1000 个中国名人的超过 130,000 个话语，覆盖了现实世界中的 11 个不同流派，并表明在实际情况下，现有技术的性能可能比预期的要差得多。

    Oct, 2019

  • M$^3$AV: 多模式、多文体和多用途的音视频学术讲座数据集

    通过提供高质量的人工注释，本文提出了一个全新的多模态、多类型和多用途的音频 - 视频学术讲座数据集，旨在支持多种音视频识别和理解任务，从而展示了 M^3AV 数据集的多样性和挑战性。

    Mar, 2024

  • FakeAVCeleb: 一种新的音视频多模态 Deepfake 数据集

    针对如今深度学习技术生成的深度伪造技术的滥用所带来的严重安全和隐私问题，本研究提出了 FakeAVCeleb 这一包含视频和相应的合成唇同步伪造音频的新型多模态 Audio-Video Deepfake 数据集，其有助于打破现存音频和视频上的种族偏见，进一步帮助发展多模态深度伪造检测器。

    Aug, 2021

  • AVA-AVD: 野外音视频说话人分离

    本研究致力于提高在野外视频中识别 “谁何时说话” 的音视频扬声器分离的准确性，它创建了 AVA 音频 - 视觉扬声器分离（AVA-AVD）数据集和一种称为 AVR-Net 的新方法，通过加入 AVA-AVD 数据集的训练可以在相对较小的数据集上显着提高结果。

    Nov, 2021

  • AV-Deepfake1M：大规模基于 LLM 的视听深度伪造数据集

    本研究针对高度逼真的深度伪造音视频内容的检测和定位问题提出了 AV-Deepfake1M 数据集，并通过全面的描述和严格的数据质量分析，使用先进的深度伪造检测和定位方法进行了综合基准测试，结果显示与之前数据集相比性能大幅下降。该数据集将在构建下一代深度伪造定位方法中发挥重要作用。

    Nov, 2023

  • VoxCeleb：一个大规模的说话人识别数据集

    本文介绍了一种基于计算机视觉技术的全自动管道，用于从开源媒体中创建一个大规模的必须文本无关语音识别数据集，并在其上应用和比较不同的演讲者识别技术以建立性能基线。

    Jun, 2017

  • iQIYI-VID: 一个大规模的多模态人物识别数据集

    本文引入了 iQIYI-VID 数据集，它是用于多模式人物识别的最大视频数据集，由 600K 个 5,000 名名人的视频剪辑组成，这些视频来自于各种类型的在线视频。通过实验结果表明，多模态注意模块融合的多模态特征可以显著提高人物识别的准确性。

    Nov, 2018

  • CelebV-HQ：一个大规模的视频人脸属性数据集

    提出了一个包含 83 个面部属性注释的大规模高质量视频数据集，名为 CelebV-HQ，该数据集中包含 35666 个视频剪辑以及 15653 个身份，其可用于模型的训练与验证，通过无条件视频生成和视频面部属性编辑验证其实用性和潜力，并展示了数据集的多样性和时间连续性。

    Jul, 2022

  • AVA-ActiveSpeaker: 一份用于活动说话人检测的音频 - 视觉数据集

    本文介绍了 AVA-ActiveSpeaker 数据集，并提出了一种新的视听方法用于活跃演讲者检测，并分析其性能和数据集的贡献。

    Jan, 2019

  • ACAV100M: 大规模数据集自动筛选方法应用于视听视频表征学习

    本文提出了一种基于子集优化的自动数据集精选方法，目标是最大化视频中音频和视觉通道之间的互信息，证明此方法找到具有高音频 - 视觉对应性的视频，并展示我们的数据训练自我监督模型达到了与手动精选数据集相同的结果，最大的好处是可扩展性，我们发布了一个包含一亿个视频的 ACAV100M 数据集，它具有高音频 - 视觉对应性，非常适合用于自我监督学习。

    Jan, 2021