多视角融合对比性预训练用于无参考点云质量评估
我们提出了基于投影的点云质量评估的简单基准线方法,通过使用点云的多投影来提取质量感知特征,将完整参考质量表示和非参考质量表示回归到视觉质量分数,以应对点云在存储和带宽限制下失真的需求。我们在 ICIP 2023 PCVQA Challenge 中取得了四个赛道的冠军。
Oct, 2023
该论文提出了一种基于局部区域相关性分析的无参考点云质量评估方法,通过将点云划分为补丁并为每个补丁生成纹理和结构特征,将它们融合成补丁特征来预测补丁质量,然后利用局部相关性权重和预测质量得分计算点云的最终质量,实验结果表明该方法优于现有的基准 NR-PCQA 方法。
May, 2023
通过使用概率建模,本文提出了一种新的点云质量评估方法,使用条件变分自编码器对主观测试的评判随机性进行建模,并生成多个中间质量评分,最终将这些评分整合为准确的质量预测,实现对点云质量的准确评估。实验证明,该方法在不同数据集上表现出色,超越了先前领先的方法。
Jan, 2024
我们提出了一种自监督预训练框架,使用了掩蔽自动编码器,来帮助模型在无标签的情况下学习有用的表示,通过将点云投影成图像并使用双分支自动编码器来重构图像中的遮蔽区域,从而分别学习具有内容感知特征和失真感知特征的映射图像,在模型微调阶段,学习到的内容感知特征被用于融合从不同视角提取的点云质量特征,大量实验证明我们的方法在预测准确性和泛化能力方面优于最先进的无参考点云质量评估方法。
Mar, 2024
基于深度学习的质量评估在感知多媒体质量评估方面取得了显著的提升,然而对于 3D 点云等 3D 视觉数据仍处于初级阶段。因此,我们提出了一种给定 3D 点云的无参考质量度量方法,通过集成频率幅度作为空间降解模式的指标来评估由压缩引起的质量影响,并使用轻量级混合深度模型进行质量评分映射。实验证明我们的方法在 PointXR 上优于最先进的非参考点云质量评估方法甚至一些全参考点云质量评估方法。
Dec, 2023
无参考图像质量评估中,无监督学习的质量表示具有广泛的扭曲捕捉能力,并通过视觉语言模型提取高层次的图像质量信息,将这两组特征结合训练简单回归器有效预测质量,并展示了这些特征在数据有效和零样本情况下的优越性能。
Dec, 2023
本文提出了一种名为 CONTRIQUE 的训练框架和深度 IQA 模型,使用自监督学习的方法从标有多种不同程度和类型扭曲度的无标签图像数据集中学习特征,通过冻结 CNN 权重和使用线性回归器将学习到的表示映射到质量得分,获得了很强的性能表现。该深度学习模型的训练无需大量标记数据。
Oct, 2021
使用对比学习方法的质量感知特征匹配图像质量评估度量 (QFM-IQM),通过对具有相似语义特征但质量得分不同的图像对进行比较,以自适应地调整上游任务的特征,移除有害特征并通过蒸馏方法提高模型的泛化能力,在 8 个标准 NR-IQA 数据集上实现了优越的性能。
Dec, 2023
我们提出了一种将局部流形学习与对比学习相结合的创新框架,用于无参考图像质量评估。该方法通过从给定图像中采样多个裁剪,识别出最具视觉显著性的裁剪,并将其他来自同一图像的裁剪作为正类进行聚类,将来自不同图像的裁剪作为负类以增加类间距离。与其他方法不同的是,我们的方法还将来自同一图像的非显著性裁剪作为类内负类以保持其独特性。此外,我们还采用了互相学习的框架,进一步增强了模型的自适应学习和视觉显著性区域识别能力。我们的方法在 7 个标准数据集中表现出更好的性能,达到了 0.942 的 PLCC 值(与 TID2013 的 0.908 相比)和 0.914 的 PLCC 值(与 LIVEC 的 0.894 相比)。
Jun, 2024
在这篇论文中,我们提出了一种基于监督对比学习与 Transformer 的图像质量评估模型 SaTQA,该模型通过 SCL 在大规模合成数据集上进行训练,从而提取出具有各种失真类型和水平的图像退化特征,并结合了 CNN 的归纳偏置和 Transformer 的长期依赖建模能力来进一步提取图像的失真信息,最终通过融合对比学习学到的退化特征和骨干网络提取的感知失真信息获取最终的失真图像质量得分。实验结果表明,SaTQA 在合成和真实数据集上都优于目前的最先进方法。
Dec, 2023