CVPRMar, 2023

CelebV-Text：一個大規模的人臉文字視頻數據集

PDF
TL;DR本文介绍了 CelebV-Text 数据集，这是一个大规模、多样化且高质量的面部文本 - 视频对数据集，旨在促进面部文本到视频生成任务的研究，通过综合统计分析视频、文本和文本视频相关性，证明了 CelebV-Text 数据集的优越性和潜力，并通过广泛的自我评估显示了 CelebV-Text 的有效性和潜力。
text-driven generation modelsface-centric text-to-video generationcelebv-text datasetsemi-automatic text generation strategyfacial text-to-video generation tasks
发现论文，激发创造
  • CelebV-HQ：一个大规模的视频人脸属性数据集

    提出了一个包含 83 个面部属性注释的大规模高质量视频数据集，名为 CelebV-HQ，该数据集中包含 35666 个视频剪辑以及 15653 个身份，其可用于模型的训练与验证，通过无条件视频生成和视频面部属性编辑验证其实用性和潜力，并展示了数据集的多样性和时间连续性。

    Jul, 2022

  • InternVid：大规模视频文本数据集，用于多模式理解和生成

    本文介绍了 InternVid，一个大规模的以视频为中心的多模态数据集，旨在学习强大且可转移的视频 - 文本编码，在多模态理解和生成方面进行研究。我们自动构建了这个高质量的视频 - 文本数据集，并使用大型语言模型，展示了其在学习大规模视频 - 语言编码中的效力。

    Jul, 2023

  • OpenVid-1M：一个用于文本到视频生成的大规模高质量数据集

    T2V 生成在最近受到了很大的关注，然而仍面临两个重要的挑战：缺乏精确的开源高质量数据集，以及未充分利用文本信息。为了解决这些问题，我们介绍了 OpenVid-1M，一个精确的高质量数据集，以及一种能够从视觉标记和文本标记中提取结构信息和语义信息的新型多模态视频扩散变换器（MVDiT）的提议。广泛的实验和消融研究验证了 OpenVid-1M 优于以前数据集的优越性和我们的 MVDiT 的有效性。

    Jul, 2024

  • VoxCeleb：一个大规模的说话人识别数据集

    本文介绍了一种基于计算机视觉技术的全自动管道，用于从开源媒体中创建一个大规模的必须文本无关语音识别数据集，并在其上应用和比较不同的演讲者识别技术以建立性能基线。

    Jun, 2017

  • DSText V2：针对密集细小文字的综合视频文字识别数据集

    该研究提出了一个名为 DSText V2 的视频文本阅读基准，着重解决了视频中密集、小字体的阅读难题，并且包含了新的场景和任务，如视频文本检测、跟踪以及端到端视频文本定位。该文章还对数据集进行了详细的统计分析，并提供了洞察和分析针对该数据集中的三个独特挑战，旨在为研究人员带来新的见解。

    Nov, 2023

  • BigVideo：一份大规模视频字幕翻译数据集，用于多模式机器翻译

    本研究提出了一个大规模的视频字幕翻译数据集 BigVideo，用于促进多模态机器翻译的研究；在跨模态编码器中引入了对比学习方法，结果表明视觉信息能够显著提高 NMT 模型的性能并帮助消除歧义。

    May, 2023

  • 文本无关视频生成的扩展方法

    通过使用无文本视频进行训练，研究表明，扩大训练集规模并重新引入部分文本标签，可以使基于扩散的文本到视频生成的性能得到提升和改进。

    Dec, 2023

  • 文本到视频质量评估的主观对齐数据集和度量

    利用 Transformer 模型从文本视频对齐和视频保真度的角度提取特征，并利用大型语言模型的能力给出预测评分，该模型优于现有的 T2V 度量和 SOTA 视频质量评估模型，能够给出主观对齐的预测评价。

    Mar, 2024

  • 文本驱动的人类视频生成

    本文提出了 Text2Performer 算法，基于文本描述生成拥有精细动作的逼真人类视频，并提供了 Fashion-Text2Video 数据集用于辅助该任务。其中包括了两个新设计：将 VQVAE 潜空间表示细分为人物形象和姿势表示，并通过连续 VQ-diffuser 对姿势编码进行采样，得到更好的动作建模。该算法在多项实验中表现出成果丰硕。

    Apr, 2023

  • Gen-L-Video：多文本到长视频生成与时域协同去噪

    本文提出了一种称为 Gen-L-Video 的新方法，该方法利用现有的短视频扩散模型扩展了当前的文本驱动视频生成和编辑能力，使其能够生成和编辑具有多个语义段的数百帧的长视频，而不需要额外的训练，从而极大地拓宽了视频扩散模型的生成和编辑能力。

    May, 2023