- 从原始数据实现准确且时间一致的视频修复
提出了一种新的视频去噪和去马赛克方法,利用一致准确的潜空间传播和数据时间一致性损失以及关系感知一致性损失来解决视频恢复的挑战,并在恢复准确性、感知质量和时间一致性方面取得了领先的性能。
- DeepFidelity:深伪造:感知伪造保真度评估用于深度假脸检测
DeepFidelity 和 SSAAFormer 是一种新的深度伪造检测框架和网络结构,能够自适应地区分具有不同图像质量的真实和伪造人脸图像,并在多个基准数据集上展现出优势。
- 运动引导的潜在扩散用于时域一致的现实世界视频超分辨率
利用预训练的隐式扩散模型,结合时序动态和创新的序列导向损失来提高视频超分辨率,实现更好的感知质量。
- DIFFNAT: 使用自然图片统计方法改善扩散图像质量
提出一种广义的 “自然度” 保持损失函数,即峭度集中(KC)损失,可用于任何标准扩散模型管道,以提高图像质量,并在个性化少样本微调、无条件图像生成和图像超分辨率等任务中验证其有效性。
- 确定性图像恢复中的感知稳健性权衡
我们研究了确定性成像逆问题求解方法的行为,证明了为了实现高感知质量和与测量一致的重建,越好的预测器的利普希茨常数必须越大,这意味着这种方法对敌对攻击更加敏感。我们在单图像超分辨率算法上展示了我们的理论,并展示了如何利用这种不希望的行为来探索 - MM高视觉保真度学习视频压缩
通过设计自信度基于的特征重建方法和周期性补偿损失,本文提出了一种新颖的高视觉保真度学习视频压缩框架 (HVFVC),以解决学习视频压缩中的重建问题和优化缺陷,实现了出色的感知质量,并仅需占最新 VVC 标准的 50% 比特率。
- CommIN: 基于 INN 引导的扩散模型的逆问题的语义图像传输
在这项研究中,我们提出了 CommIN,它将从退化重构中恢复高质量源图像视为一个逆问题,并通过结合可逆神经网络(INN)和扩散模型来实现更好的感知质量。通过实验证明,在极端条件下,我们的 CommIN 在感知质量上显著提高,相比 DeepJ - 基于似然的基于补丁级感知和语义信用指派的文本到图像评估
我们提出了一种基于似然的文本到图像生成模型,通过直接估计生成图像的似然来评估其生成性能,并通过语义和感知显著性的图像补丁的信用分配策略改进了评估指标。该方法在感知质量和文本 - 图像对齐方面能够高效地评估多种流行的文本到图像生成模型和数据集 - 利用盲目人脸修复技术提升跨品质人脸验证
本文研究了应用三种最先进的盲人面部修复技术(GFP-GAN、GPEN 和 SGPN)对在极低质量图像环境下的人脸验证系统性能的影响,并在最近提出的跨质量 LFW 数据库上使用三种最先进的深度人脸识别模型进行了详尽的实验,结果表明 GFP-G - UGC 质量评估:深度基于特征的质量评估中的显著性影响探索
近年来,用户生成的内容(UGC)的数量增加了。这种类型的内容的挑战在于评估其质量。本文探讨了提取 / 组合自然场景统计和深度神经网络特征的最新度量标准,并尝试通过引入显著性地图来改善可感知性。我们使用公共数据集 YouTube-UGC 和 - 基于屏幕的 3D 主观实验软件
通过使用一款强大的软件,我们可以设计灵活的三维主观研究方法并构建高质量的数据集,从而准确展示三维刺激的感知质量差异,并通过实验结果证明该软件可以产生合理的三维模型主观质量评分。
- MM捕捉用户生成内容中共存的失真以进行无引用视频质量评估
视频质量评估的挑战在于解决用户生成内容视频中存在的严重失真导致整体视觉质量下降的问题,提出了 Visual Quality Transformer (VQT) 方法,并通过实验证明了其优于其他方法的性能。
- 基于 GAN 的图像压缩及改进的 RDO 处理
本文提出了一种改进型的 GAN 图像压缩方法,通过使用 DISTS 和 MS-SSIM 指标对颜色、纹理和结构的感知退化度量以及吸收离散化的高斯 - 拉普拉斯 - 逻辑混合模型(GLLMM)来改善熵模型的准确性,并采用 MOS 实验直接评估 - AGIQA-3K: 人工智能生成图像质量评估的开放数据库
该研究旨在解决基于文本生成图像的模型中存在的主观质量差异问题并提出了 StairReward 模型评估主观文本图像对齐的一致性,并以此建立了 AGIQA-3K 数据库。
- 深度最优输运:一种逼真图像恢复的实用算法
提出了一种图像恢复算法,该算法可控制任何预训练模型的感知质量和 / 或均方误差,通过对测试时间的控制,实现其中之一。
- 使用自监督视觉遮盖增强图像质量预测
本文通过引入视觉遮盖的概念并在已有的 FR-IQM 模型上进行改进,提出了一种能够更准确地捕捉人类感知的新型图像质量评价方法。同时也提出了建立视觉遮盖模型的自监督学习方法,以此更好地预测图像质量。
- 基于评分的生成模型的高保真图像压缩
本文通过使用扩散生成模型,将自编码器与基于分数的解码器相结合的简单但理论上有动机的两阶段方法,实现了在给定比特率时提高视觉质量,并在 FID 分数上跑赢了最先进的方法 PO-ELIC 和 HiFiC。
- SDR 还是 HDR?缩放和压缩视频的主客观评估研究
本文对观看具备不同编码和尺度的高动态范围(HDR)和标准动态范围(SDR)视频,以及在三种不同的显示设备上进行的人类感知质量判断进行了大规模研究,并开发了新型无参考视频质量模型 HDRPatchMAX。
- CVPR人类辅助下的现实图像超分辨率真实数据生成
通过人为指导的生成方案,我们成功训练出更具感知质量和更少噪点的实际图像超分辨率模型,该方案包含图像增强模型、人工标注的 GT 生成、负样本标注以及一种新的损失函数。
- CVPR任意尺度图像超分辨率的本地隐式归一化流
本文提出了一种名为 LINF 的算法,使用局部隐式正则化流对超分辨率进行任意尺度的处理,可以生成具有丰富纹理细节的照片般逼真的高分辨率图像,并在大量实验中证明了 LINF 与先前的任意尺度超分辨率方法相比具有最先进的感知质量。