LMM-PCQA:利用LMM辅助点云质量评估
该论文提出了一种基于局部区域相关性分析的无参考点云质量评估方法,通过将点云划分为补丁并为每个补丁生成纹理和结构特征,将它们融合成补丁特征来预测补丁质量,然后利用局部相关性权重和预测质量得分计算点云的最终质量,实验结果表明该方法优于现有的基准NR-PCQA方法。
May, 2023
该研究提出了一种新的基于投影的3D模型质量评估方法 - GMS-3DQA,通过使用多投影网格小块采样策略减少冗余和推理资源,并使用Swin-Transformer微型骨干从采样的网格小块中提取质量感知特征,实验结果表明,该模型相比现有的NR-3DQA方法具有更高的评估准确度和更少的计算资源需求。
Jun, 2023
我们提出了基于投影的点云质量评估的简单基准线方法,通过使用点云的多投影来提取质量感知特征,将完整参考质量表示和非参考质量表示回归到视觉质量分数,以应对点云在存储和带宽限制下失真的需求。我们在ICIP 2023 PCVQA Challenge中取得了四个赛道的冠军。
Oct, 2023
本文提出了一个计算简化和描述符丰富的点云质量评估(PCQA)指标,名为PointPCA+,它是PointPCA的扩展。PointPCA提出了一组基于PCA分解的感知相关描述符,这些描述符应用于点云的几何和纹理数据以进行完全参考的PCQA。PointPCA+仅在几何数据上使用PCA,同时丰富了现有的几何和纹理描述符,计算效率更高。与PointPCA类似,通过学习融合几何和纹理描述符的个别预测来获取总体质量分数,捕捉局部形状和外观特性。在特征融合之前,引入了特征选择模块,从提出的超级集中选择最有效的特征。实验结果表明,PointPCA+对公开可用数据集获得的主观真实分数具有较高的预测性能。代码可在https://github.com/cwi-dis/pointpca_suite/上获得。
Nov, 2023
基于深度学习的质量评估在感知多媒体质量评估方面取得了显著的提升,然而对于3D点云等3D视觉数据仍处于初级阶段。因此,我们提出了一种给定3D点云的无参考质量度量方法,通过集成频率幅度作为空间降解模式的指标来评估由压缩引起的质量影响,并使用轻量级混合深度模型进行质量评分映射。实验证明我们的方法在PointXR上优于最先进的非参考点云质量评估方法甚至一些全参考点云质量评估方法。
Dec, 2023
通过使用概率建模,本文提出了一种新的点云质量评估方法,使用条件变分自编码器对主观测试的评判随机性进行建模,并生成多个中间质量评分,最终将这些评分整合为准确的质量预测,实现对点云质量的准确评估。实验证明,该方法在不同数据集上表现出色,超越了先前领先的方法。
Jan, 2024
提出了一种针对点云质量评估的新型对比度预训练框架(CoPA),该框架通过无监督数据学习质量感知表示,并利用生成的锚点通过质量感知对比度损失限制预训练过程,进一步采用语义引导多视角融合模块在模型微调阶段有效地整合多个视角的投影图像特征,实验证明该方法在流行基准上优于现有的点云质量评估方法,并能够提升现有的学习型点云质量评估模型。
Mar, 2024
该研究提出了一种基于支持向量回归的准确的全参考点云质量评估方法,通过整合五种基于全参考的度量标准,并使用支持向量回归进行快速预测,实现了对压缩失真、高斯噪声和降采样等多种降级类型的准确评估,其性能优于传统的全参考点云质量评估方法,并且比使用复杂特征(如曲率和多尺度特征)的最新方法更快速和精确。
Jun, 2024
通过感知引导的混合度量方法,根据不同的失真程度预测点云质量,并将两种视觉策略自适应地结合,其中一种策略利用掩蔽效应和纹理复杂度评估高质量样本的可见差异,另一种策略利用谱图理论评估低质量样本的外观退化,最后以非线性方法将两个组件的结果综合起来得出测试点云的整体质量得分。PHM在多种失真环境下显著提高性能,取得了最先进的性能,代码可公开获取。
Jul, 2024
本研究解决了当前视频质量评估(VQA)算法在复杂空间和时间扭曲下面临的挑战。我们提出了首个大型多模态视频质量评估模型(LMM-VQA),通过将质量回归问题重新表述为问答任务,并设计时空视觉编码器来提取空间和时间特征,从而提高VQA的性能。实验结果表明,LMM-VQA在五个VQA基准测试中达到了最先进的性能,展现出5%的泛化能力提升。
Aug, 2024