通过对多模态大语言模型（MLLMs）在图像质量评估（IQA）中的应用进行综合系统的研究和探索，发现仅有关闭源 GPT-4V 能够合理地描述人类对图像质量的感知，但在细粒度的质量变化（如颜色差异）和多图像的视觉质量比较等任务上较为薄弱。

Mar, 2024

通过 Compare2Score 模型，我们成功地将文本定义的比较级别与转换后的单个图像质量得分进行了有效的联系，不仅在训练过程中有效地使用了丰富的图像质量评估数据集，而且在推理过程中通过概率矩阵自适应地转换了离线图像到连续质量得分的比较级别，从而成功超越了目前最先进的图像质量评估模型。

May, 2024

该文章介绍了一种基于多模式提示的创新图像质量评估方法，通过精心设计的提示，从视觉和语言数据中挖掘增量语义信息，在不同数据集上展现出竞争性能，达到了鲁棒性和准确性的提升。

Apr, 2024

介绍了一种名为 DepictQA 的图像质量评估方法，利用多模式大型语言模型（MLLMs）进行详细的、基于语言的、类似人类的图像质量评估，相比传统基于分数的方法，DepictQA 可以描述性地解释图像内容和失真，并与人类的推理过程密切相关，通过建立分层任务框架并收集名为 M-BAPPS 的多模式 IQA 训练数据集来构建 DepictQA 模型，利用多源训练数据和专业图像标签来处理有限的训练数据和处理多个图像的挑战，DepictQA 在 BAPPS 基准测试中表现更好，更能生成准确的推理描述语言，研究结果表明基于语言的 IQA 方法有潜力根据个体偏好进行定制，数据集和代码将公开发布。

Dec, 2023

通过引入中性提示和多提示集成两个关键的组成部分，Q-Boost 方法在图像质量评估和视频质量评估任务中增强了低级多模态大语言模型在低级视觉问题方面的能力，并展示了优秀的零样本性能。

Dec, 2023

研究提出了一种基于混合提示编码和基于集成的特征混合模块的 AIGC 质量评估框架，验证了方法在两个数据集上的有效性，从而促进了多模态生成领域的研究发展。

Apr, 2024

利用多模式学习查询 (MMLQ) 从多模式预训练特征中提取与美学相关的特征，实验结果表明其在多模式图像美学评估方面取得了新的最优性能，SRCC 和 PLCC 分别超过先前方法 7.7% 和 8.3%。

May, 2024

利用深度神经网络对 AI 生成的图像进行质量评估存在挑战，我们引入了一个大型多模态模型辅助 AI 生成图像质量评估（MA-AGIQA）模型，通过文本提示敏锐感知语义信息并提取语义向量，并使用专家混合结构动态整合语义信息和传统 DNN 基于 IQA 模型提取的质量感知特征来解决当前 IQA 模型在语义感知方面的不足，实验证明 MA-AGIQA 在评估 AI 生成图像质量方面具有最先进的性能和出色的泛化能力。

Apr, 2024

图像质量评估和图像美学评估的统一视觉语言预训练 (UniQA) 方法能够同时提高这两个任务的性能并展现优异的无需训练样本和少标签图像评估能力。

Jun, 2024

当探索人工通用智能（AGI）的发展时，大型多模态模型（LMMs）在处理多个图像输入的信息时面临两个问题：细粒度感知的缺乏和融合多个图像的倾向。我们首先广泛研究了 LMMs 在处理多个输入图像时感知细粒度视觉细节的能力。研究集中在两个方面：首先，图像与图像匹配（评估 LMMs 是否能够有效推理和配对相关图像），其次，多图像与文本匹配（评估 LMMs 是否能够准确捕捉和总结详细的图像信息）。我们对一系列开源和闭源的大型模型进行评估，包括 GPT-4V，Gemini，OpenFlamingo 和 MMICL。为了增强模型性能，我们还基于多输入多模态模型开发了一种对比的思维链（CoCoT）启发方法。该方法要求 LMMs 比较多个图像输入的相似性和差异性，然后根据确定的相似性和差异性指导模型回答关于多图像输入的详细问题。我们的实验结果展示了 CoCoT 在增强大型多模态模型的多图像理解能力方面的熟练度。

Jan, 2024