异步反馈网络用于感知点云质量评估
提出了一种用于处理大规模3D数据的一般用途的全卷积网络,具有内部将无组织的点云转换为有序结构以通过3D卷积处理的能力,可用于许多3D任务的通用点云描述符。在语义体素分割,语义部分分割和3D场景字幕数据集上进行了评估。
Aug, 2018
通过引入生成循环反馈,本文在卷积神经网络上实现了一种用于保证自我一致性的框架,并在标准基准测试中展示了CNN-F相对于传统前馈CNN的显着提高的对抗性鲁棒性。
Jul, 2020
本文提出了一种新的反馈网络(FBNet)用于点云完整性修复,通过用细粒度特征改进粗略形状的生成,并利用交叉注意力策略来修正现有的特征。在多个数据集上进行的定量和定性实验表明,FBNet在点云修复任务上的性能比现有最先进的方法更优。
Oct, 2022
本文提出了一种有效的质量敏感邻域代表方案,即基于时空网格小立方体采样(St-GMS),以及针对片段的神经网络结构Fragment Attention Network(FANet),结合起来提出的高效端到端的FAST-VQA和FasterVQA方法,在所有视频质量评估基准测试中均显著优于现有方法,却仅需要当前最先进方法的1/1612的FLOPs。
Oct, 2022
我们提出了一种顶部向下的方法,利用高层语义指导图像质量评估网络集中在具有语义重要性的局部失真区域,命名为TOPIQ。我们的方法涉及设计一种启发式的粗到细网络(CFANet),它利用多尺度特征并以自上而下的方式逐步传播多级语义信息到低级表示。该方法的一个关键组成部分是我们提出的跨尺度注意力机制,该机制通过高层特征引导计算低层特征的注意力图。CFANet可用于全参考(FR)和无参考(NR)图像质量评估,并且在大多数公开基准测试中相对于基于视觉变换器的现有方法取得了更好或有竞争力的性能。
Aug, 2023
基于深度学习的质量评估在感知多媒体质量评估方面取得了显著的提升,然而对于3D点云等3D视觉数据仍处于初级阶段。因此,我们提出了一种给定3D点云的无参考质量度量方法,通过集成频率幅度作为空间降解模式的指标来评估由压缩引起的质量影响,并使用轻量级混合深度模型进行质量评分映射。实验证明我们的方法在PointXR上优于最先进的非参考点云质量评估方法甚至一些全参考点云质量评估方法。
Dec, 2023
通过使用概率建模,本文提出了一种新的点云质量评估方法,使用条件变分自编码器对主观测试的评判随机性进行建模,并生成多个中间质量评分,最终将这些评分整合为准确的质量预测,实现对点云质量的准确评估。实验证明,该方法在不同数据集上表现出色,超越了先前领先的方法。
Jan, 2024
我们提出了一种自监督预训练框架,使用了掩蔽自动编码器,来帮助模型在无标签的情况下学习有用的表示,通过将点云投影成图像并使用双分支自动编码器来重构图像中的遮蔽区域,从而分别学习具有内容感知特征和失真感知特征的映射图像,在模型微调阶段,学习到的内容感知特征被用于融合从不同视角提取的点云质量特征,大量实验证明我们的方法在预测准确性和泛化能力方面优于最先进的无参考点云质量评估方法。
Mar, 2024
提出了一种针对点云质量评估的新型对比度预训练框架(CoPA),该框架通过无监督数据学习质量感知表示,并利用生成的锚点通过质量感知对比度损失限制预训练过程,进一步采用语义引导多视角融合模块在模型微调阶段有效地整合多个视角的投影图像特征,实验证明该方法在流行基准上优于现有的点云质量评估方法,并能够提升现有的学习型点云质量评估模型。
Mar, 2024
本研究旨在通过文本监督将大型多模式模型 (LMMs) 引入点云质量评估 (PCQA),实现PCQA知识对LMMs的传授,从而提高模型理解和评估的准确性,并希望这些贡献能够激发对LMMs与PCQA融合的后续研究,促进3D视觉质量分析及其他领域的进展。
Apr, 2024