CrossScore: 走向多视角图像评估和打分
通过引入预训练的多模态分割网络用于预测病变位置,以及肿瘤编码器用于表示特征,如纹理细节和亮度强度,结合使用 k 空间特征和视觉特征的全面编码器和频率重建惩罚,采用结构共享编码器和相似性损失,本研究提出了一种新的指标 K-CROSS 用于评估跨模态医学图像合成,通过构建一个包含 6,000 名放射科医生判断的大规模跨模态神经影像感知相似度(NIRPS)数据集,广泛的实验证明了该方法相较于其他指标的性能优越,特别是在 NIRPS 上与放射科医生的比较中。
Jul, 2023
提出了一种基于 Vision Transformer (ViT) 模型的无参考图像质量评估 (NR-IQA) 方法 Cross-IQA,可以从无标签图像数据中学习图像质量特征,并利用预训练的编码器进行线性回归模型的微调,实现了对图像的低频降级信息(如颜色变化、模糊等)的先进性能评估。
May, 2024
自然语言和图片联合训练的 CLIP 模型可用于基于图像的字幕的评估过程中,而无需参考词,CLIPScore 作为一种新的无参考评估指标可以实现与人类判断的最高相关性。
Apr, 2021
使用 QualiCLIP,这是一种基于 CLIP 的自监督方法,旨在解决无高质量参考图像时测量图像质量的问题;与其他方法相比,在不需要标记的主观测试分数的情况下,在真实场景中表现更好,并且具有更好的鲁棒性和解释性。
Mar, 2024
面部交换已成为计算机视觉和图像处理领域的一个突出研究方向,本研究提出了一种新的面部交换无参考图像质量评估方法,通过构建一个综合的大规模数据集,实现基于多个面部属性的图像质量排名方法,以及基于可解释性定性比较的连体网络,改进了面部交换模型的表情和姿势等。经过广泛实验证实本方法优于现有的无参考图像质量评估度量和最新的面部图像质量评估度量,非常适合实际场景中评估面部交换图像。
Jun, 2024
本文通过对大量超分辨率图像进行人类主观研究,提出了一种基于视觉感知评分学习的无参考指标,使用空间域和频域中的三种低级统计特征对超分辨率图像上的特征进行量化,并学习了一个两阶段回归模型,无需参考基准图像即可预测超分辨率图像的质量得分,实验证明这种指标可以有效、高效地评估超分辨率图像的质量。
Dec, 2016
通过 Compare2Score 模型,我们成功地将文本定义的比较级别与转换后的单个图像质量得分进行了有效的联系,不仅在训练过程中有效地使用了丰富的图像质量评估数据集,而且在推理过程中通过概率矩阵自适应地转换了离线图像到连续质量得分的比较级别,从而成功超越了目前最先进的图像质量评估模型。
May, 2024
图像到图像的转换在医学影像领域具有巨大影响,本研究介绍了用于图像合成评估的参考和非参考度量标准,并调查了九种需要参考的度量标准(SSIM、MS-SSIM、PSNR、MSE、NMSE、MAE、LPIPS、NMI 和 PCC)以及三种非参考度量标准(BLUR、MSN 和 MNG)对来自 BraSyn 数据集的 MR 图像的 11 种扭曲的检测能力。此外,还测试了下游分割度量标准和三种归一化方法(Minmax、cMinMax 和 Zscore)的影响。通过合理选择和结合图像相似性度量标准,可以改进用于 MR 图像合成的生成模型的训练和选择,在高成本的经过训练的放射科医生评估之前可以验证其输出的许多方面。
May, 2024
本文提出了一种从排名中学习的无参考图像质量评估方法(RankIQA)。采用合成的失真图像来训练 Siamese 网络,以排名的方式对图像质量进行评估,从而实现自动生成无需人工标注。通过微调,将训练有素的 Siamese 网络的知识转移至传统的 CNN,通过一次正向传递可以显著提高效率,并在 TID2013 基准测试中将结果提高了超过 5%。此外,在 LIVE 基准测试中,该方法也优于现有的 NR-IQA 技术,并在全参考 IQA(FR-IQA)方法中甚至超过现有技术,无需使用高质量的参考图像进行推断。
Jul, 2017
本文提出了一种基于联合建模多幅描绘同一内容图像的特征表示来改善质量评估精度的图像质量评估方法。通过多幅失真图像提供的信息来消除与内容和质量相关的图像特征的歧义。研究表明,该方法能够成功地组合描绘相同内容的多个图像的特征,从而提高了评估的质量。
Apr, 2023