提出了一种基于文本的语义相关质量评价方法(SAQI)及其本地化版本(SAQI-Local)。通过与现有低级指标结合，提出了统一盲视频质量指数(BVQI)及其改进版(BVQI-Local)，并通过有效的微调方案，实现了优于普遍基于人类意见的VQA方法的性能和卓越的泛化能力。

Apr, 2023

本文讨论了在各种因素的干扰下，如何对自然视频的视频质量进行评估，构建了Maxwell数据库，并提出了MaxVQA，一种基于Vision-Language模型的视频质量评估方法。

May, 2023

我们评估了常用质量度量，比较它们与人工评估在包含1000多个生成的T2V视频的数据集上的表现。结论是，在评估T2V模型输出时，自然性和语义匹配是重要因素，但没有一种单一度量可以捕捉这些微妙之处。

Sep, 2023

通过引入 EditVal，这是一个标准化的用于定量评估文本引导的图像编辑方法的基准测试，本研究对8种前沿扩散编辑方法进行了基准测试，发现 Instruct-Pix2Pix 和 Null-Text 的性能最好且能保持原始图像特性，而大多数编辑方法在空间操作方面失败，没有一个单独在各种编辑类型上排名最佳的方法。希望我们的基准测试能为未来开发更可靠的文本引导图像编辑工具铺平道路。

Oct, 2023

通过 VBench 系统，我们提供了一个全面的视频生成评估基准，将视频生成质量分解为特定的、分层的、分离的维度，并为每个维度提供了定制的提示和评估方法；我们还提供了人类喜好注释的数据集，验证了我们基准与人类知觉的一致性；在各个评估维度和各种内容类型上，我们研究了当前模型在视频生成能力上的差异，并探究了视频和图像生成模型之间的差距。

Nov, 2023

本文研究现有评估指标的局限性，并引入一种新的评估方法，即Text-to-Video Score (T2VScore)，该指标综合考虑了文本-视频对齐和视频质量两个关键要素。同时，我们提出了TVGE数据集，以评估和促进未来改进文本到视频生成的指标。在TVGE数据集上的实验证明了T2VScore的优越性，能够提供更好的评估指标。

Jan, 2024

利用Transformer模型从文本视频对齐和视频保真度的角度提取特征，并利用大型语言模型的能力给出预测评分，该模型优于现有的T2V度量和SOTA视频质量评估模型，能够给出主观对齐的预测评价。

Mar, 2024

本研究针对基于指令的图像编辑（IIE）模型评估中的重大挑战，提出I2EBench，一个全面的评估基准，用于多维度自动评估编辑结果。I2EBench不仅提供了16个评估维度，确保与人类感知一致，还通过分析现有模型的优缺点，为未来的研究发展提供了宝贵的见解。

Aug, 2024

本研究针对文本驱动视频编辑模型的评估缺乏全面基准的问题，提出了EditBoard作为解决方案。该基准涵盖九项自动化指标和四个维度，评估模型在四类任务中的表现，并引入三个新指标以提高评估的可靠性。通过开源EditBoard，本研究旨在标准化评估流程，推动强大视频编辑模型的发展。

Sep, 2024

本研究针对大模态模型（LMMs）在视频质量理解方面的不足，通过引入Q-Bench-Video基准，系统评估其识别视频质量的能力。研究采用多样的视频源和新的评估维度，发现LMMs对视频质量的理解存在显著的差距，强调了进一步研究的重要性。

Sep, 2024