AIGCBench:AI 生成的图像到视频内容的综合评估
这项研究基于 Text-to-Video 人工智能生成内容 (AIGC) 的最新进展,针对 AIGC 视频的质量评估遇到的挑战进行了分类,并提出了特定模块来综合评估 AIGC 视频的视觉和内容一致性,在不同的生成模型中发现了重要的视觉质量、流畅度和风格差异。通过预测源生成模型,可以提高 AIGC 视频特性的差异性,从而提高质量评估性能。该方法在 NTIRE 2024 质量评估比赛中获得了第三名,展示了其有效性。
Apr, 2024
人工智能生成内容(AIGC)已经引领了一场新的技术革命,推动了数字内容的获取并推动传统编解码器在性能提升和多样化功能方面的进展,本文全面回顾了生成式视觉压缩的最新进展,展示了在超低码率通信,用户指定的重建 / 滤波和智能机器分析方面的巨大潜力和有前景的应用。特别是,我们回顾了基于深度生成模型的视觉数据压缩方法,并总结了如何通过生成技术实现紧凑的表示和高保真重建。此外,我们概括了相关的生成式压缩技术用于机器视觉和智能分析。最后,我们讨论了生成式视觉压缩技术面临的基本挑战,并展望了它们未来的研究方向。
Feb, 2024
通过 VBench 系统,我们提供了一个全面的视频生成评估基准,将视频生成质量分解为特定的、分层的、分离的维度,并为每个维度提供了定制的提示和评估方法;我们还提供了人类喜好注释的数据集,验证了我们基准与人类知觉的一致性;在各个评估维度和各种内容类型上,我们研究了当前模型在视频生成能力上的差异,并探究了视频和图像生成模型之间的差距。
Nov, 2023
该论文报告了 NTIRE 2024 年 AI 生成内容质量评估挑战,该挑战受到了图像和视频处理领域中的一个主要挑战的关注,即 AI 生成内容的图像质量评估和视频质量评估。
Apr, 2024
本文通过对 GenAI-Bench 上的人类评分进行广泛研究,评估领先的图像和视频生成模型在复合文本到视觉生成的各个方面的性能,并发现 VQAScore 比先前的评估指标(如 CLIPScore)明显优于人类评分,而且 VQAScore 可以在黑盒的基础上通过简单地对候选图像进行排名(3 到 9 张)从而显著提高生成速度,在需要高级视觉语言推理的复合提示下,VQAScore 的排名效果比其他评分方法如 PickScore、HPSv2 和 ImageReward 提高 2 倍至 3 倍。
Jun, 2024
如何准确高效地评估人工智能生成的图像(AIGIs)仍然是生成模型面临的重大挑战。为了避免用户研究时高昂的成本和广泛的时间投入,许多研究人员已转向大型多模型模型(LMMs)作为 AIGI 评估器,其精确性和有效性仍然存疑。此外,传统的基准测试通常主要使用自然捕获的内容而不是 AIGIs 来测试 LMMs 的能力,导致对 AIGIs 存在明显的差距。因此,在本文中我们介绍了 A-Bench,一个旨在诊断 LMMs 是否擅长评估 AIGIs 的基准测试。具体而言,A-Bench 遵循两个关键原则:1)强调高水平的语义理解和低水平的视觉质量感知,以应对 AIGIs 的复杂需求。2)利用各种生成模型创建 AIGIs,并利用各种 LMMs 进行评估,以确保全面的验证范围。最终,我们从 16 个文本到图像模型中选取了 2864 个 AIGIs,每个 AIGI 都与由人工专家注释的问题答案成对,然后在 18 个主要的 LMMs 上进行了测试。我们希望 A-Bench 能够显著提升评估过程并改进 AIGIs 的生成质量。该基准测试可以在此 https URL 找到。
Jun, 2024
该研究综述了生成模型的历史和基本组成部分,并从单模态和多模态交互的角度介绍了文本和图像生成任务及相关模型,讨论了人工智能生成内容领域中的开放性问题和未来挑战。
Mar, 2023
基于人类感知的图像到图像 AIGC 图像质量评估数据库 PKU-I2IQA 的建立,引入两个基准模型:基于无参考图像质量评估的 NR-AIGCIQA 和基于全参考图像质量评估的 FR-AIGCIQA,并通过基准实验比较了两个模型的性能。
Nov, 2023
本文深入讨论了基于人工智能技术生成内容的 AIGC,对其定义、关键条件、可重要的现有和未来特性、庞大的预训练模型带来的优势、工业链以及 AIGC 内部辅助生成和自动生成之间的区别进行了探讨,最后探讨了 AIGC 与元宇宙的潜在整合,旨在揭示 AIGC 的现有问题并提供未来应用方向。
Mar, 2023
研究提出了一种基于混合提示编码和基于集成的特征混合模块的 AIGC 质量评估框架,验证了方法在两个数据集上的有效性,从而促进了多模态生成领域的研究发展。
Apr, 2024