Nov, 2015

使用感知相似度度量学习生成图像

PDF
TL;DR通过使用 better calibrated to human perceptual judgments of image quality: the multiscale structural-similarity score (MS-SSIM) 进行训练而不是使用 pixel-wise loss (PL)，提出了更好的 perceptually-optimized methods，已被证明在三种不同的自动编码器中表现更好，可以在图像分类和超分辨率成像方面为计算机视觉带来极大的潜力。
multiscale structural-similarity scoreimage-synthesis networksperceptually-optimized networksautoencoderstraining objectives
发现论文，激发创造
  • 基于深度网络的感知相似性度量生成图像

    通过采用深度感知相似度测量（DeePSiM）来代替在图像空间中计算距离，我们的研究表明，此类损失函数能够更好地反映图像的感知相似度，从而减少图像平滑问题，并且在自编码器训练、变分自编码器的修改以及深度卷积网络的反演三种应用场景中表现出令人印象深刻的生成结果。

    Feb, 2016

  • 深层感知压缩

    本文探讨了深度学习压缩技术中常用的 MS-SSIM 和 MSE 误差函数与人类感知之间的关系，提出了 Deep Perceptual Compression 技术，通过在深度感知指标和 MS-SSIM 之间进行联合优化，相比先前的学习压缩方法和 JPEG-2000 具有更好的视觉效果，并且在目标检测等任务中表现更好。

    Jul, 2019

  • 水平加权结构相似性差异度损失：从均方误差迈出一步

    文章提出了一种基于结构相似度指标（SSIM）的新的加权结构相似度损失（LWSSIM）来代替均方误差（MSE）损失函数， 可以解决像素的独立性和样本空间相关性的矛盾，该模型在各种自编码器中得到了成功的应用。

    Apr, 2019

  • 感知约束对抗攻击

    该论文提出使用 SSIM 替代 $L_p$ 范数来衡量对抗性样本在图像分类中的感知质量，并表明这种方法比之前的方法更好，以及该方法可以用于评估防御方案的性能。

    Feb, 2021

  • 深度特征作为感知度量的不合理有效性

    通过实验发现基于深度学习的图像处理方法中的感知相似度可以对大多数经典感知度量方法取得更加优秀的表现。该结论并不仅仅针对于在 ImageNet 数据集上训练的 VGG 特征，而是适用于训练于不同深度架构和不同的学习方式（监督、自监督、无监督）的特征提取器。

    Jan, 2018

  • 一个非监督的信息理论感知质量评估度量

    通过结合信息理论目标函数的最新进展和基于人类视觉系统的计算体系结构，以及对成对视频帧进行无监督训练，我们提出了感知信息度量（PIM），并在 BAPPS 图像质量评估数据集上证明 PIM 与监督度量相媲美，且在 CLIC 2020 的图像压缩方法排名预测方面优于监督度量，同时使用 ImageNet-C 数据集进行定性实验，证明 PIM 在架构细节方面具有鲁棒性。

    Jun, 2020

  • 了解结构相似性指标 (SSIM)

    本文分析了结构相似性指数（SSIM）的数学因素，并展示了其可能带来的非预期、未定义和非直观结果，因此使用 SSIM 作为图像质量指标可能导致错误结论，使用其作为深度学习的损失函数会带领神经网络训练向错误的方向。

    Jun, 2020

  • MR 图像到图像翻译的相似度度量指标

    图像到图像的转换在医学影像领域具有巨大影响，本研究介绍了用于图像合成评估的参考和非参考度量标准，并调查了九种需要参考的度量标准（SSIM、MS-SSIM、PSNR、MSE、NMSE、MAE、LPIPS、NMI 和 PCC）以及三种非参考度量标准（BLUR、MSN 和 MNG）对来自 BraSyn 数据集的 MR 图像的 11 种扭曲的检测能力。此外，还测试了下游分割度量标准和三种归一化方法（Minmax、cMinMax 和 Zscore）的影响。通过合理选择和结合图像相似性度量标准，可以改进用于 MR 图像合成的生成模型的训练和选择，在高成本的经过训练的放射科医生评估之前可以验证其输出的许多方面。

    May, 2024

  • 基于显著性驱动的感知图像压缩

    本文提出了一种新的端到端可训练模型，用于有损图像压缩。该方法包括几个新颖的组件，其中包括充分的感知相似度度量、图像中的显着性和分层自回归模型。该模型不仅生成视觉效果更好的图像，而且在后续计算机视觉任务（如目标检测和分割）中也具有优越的性能。

    Feb, 2020

  • DreamSim：使用合成数据学习人类视觉相似性的新维度

    本文提出了一个全新的知觉度量标准 DreamSim，通过人类相似度判断数据集的研究得出，该标准可以全面评估图片的相似性，更关注于前景物体和语义内容及对颜色和布局敏感，并且具有很好的一般性能。

    Jun, 2023