Mar, 2024

基于文本引导编码的神经图像压缩方法：兼顾像素水平和感知保真度

PDF
TL;DR近期在文本引导的图像压缩方面的研究取得了巨大潜力，能够增强重构图像的感知质量，但这些方法往往在像素级保真度方面明显降低，限制了它们的实用性。为了填补这一空白，我们开发了一种新的文本引导图像压缩算法，实现了高感知和像素级保真度，该压缩框架主要通过文本自适应编码和联合图像 - 文本损失的训练来利用文本信息。通过这样做，我们避免了基于文本引导生成模型的解码，这种模型以高度生成多样性著称，并有效地利用了文本的语义信息。各种数据集上的实验结果表明，我们的方法在像素级和感知质量方面均可达到较高水平，无论是人类生成的标题还是机器生成的标题。特别地，在与其他基准方法相比的 LPIPS 方面，我们的方法表现出色，并且在使用更加精心生成的标题时，仍有进一步提高的空间。
发现论文，激发创造
  • 利用合作的跨模态侧面信息的知觉图像压缩

    本文介绍一种利用文本引导辅助信息的创新深度图像压缩方法，通过预测语义掩码，将文本和图像特征融合，设计了条件生成对抗网络以改进重建图像的感知质量，并在四个数据集和十个图像质量评估指标下证明了该方法在速率感知性能和语义失真方面的优越结果。

    Nov, 2023

  • 极端学习图像多模态深度网络压缩

    本文提出了一种文字引导图像压缩的多模态机器学习方法，通过使用文本的语义信息来引导图像压缩，以实现更好的压缩性能，包括采用图像 - 文本注意力模块和改进的多模态语义一致性损失函数。实验证明，该方法能够在极低比特率下获得较好的视觉效果，并且即使与最先进的技术相比，其性能也可以相媲美或超越。

    Apr, 2023

  • 文本 + 草图：超低比特率图像压缩

    该论文研究了如何将基于 Billion-scale 数据集预训练的文本到图片生成模型用于图像压缩，并证明这些模型可以在很低的比特率情况下实现比学习压缩器更好的感知和语义保真度。

    Jul, 2023

  • 利用场景文本质量评估实现深度图像压缩

    本文提出了一种图像压缩方法，通过提出一种场景文本图像质量评估模型来保持文本质量，该模型迭代搜索保持高质量文本的最佳压缩图像，客观和主观结果表明该方法优于现有方法，探究把这一方法推广到互联网通信工程中的实际应用。

    May, 2023

  • 高保真神经图像压缩的语义集成损失和潜在精炼

    该研究提出了一种改进的神经压缩方法，通过使用复杂的语义集成损失、潜在精细化过程和优化可视保真度的目标，显著提高了神经图像压缩的统计保真度，并在 CLIC2024 验证集上相较于 MS-ILLM 在 FID 指标下实现了 62% 的比特率节省。

    Jan, 2024

  • 压缩与对齐：用人类知识筛选图像文本数据

    该研究通过采用人工智能算法对图像文本数据进行高质量压缩，并利用训练出的奖励模型作为人类般的裁判来过滤不对齐 / 低质量的图像文本对。

    Dec, 2023

  • 探索压缩图像表示作为感知代理：一项研究

    我们提出了一种端到端学习的图像压缩编解码器，其中分析变换与目标分类任务同时训练。该研究证实，压缩的潜在表示能够以与定制的基于深度神经网络的质量指标相媲美的准确性预测人的感知距离判断。我们进一步研究了各种神经编码器，并展示了将分析变换作为超出质量判断之外的图像任务的感知损失网络的有效性。我们的实验表明，现成的神经编码器在感知建模方面表现出色，无需额外的 VGG 网络。我们期望这项研究能够成为开发语义感知和编码高效的神经编码器的有价值参考。

    Jan, 2024

  • 基于机器感知的图像压缩：分层生成方法

    本文介绍了一种层次生成式图像压缩模型，该模型支持多任务分析，通过学习感知图像压缩方法提供可压缩的紧凑表示，并实现高分辨率图像重建以及压缩率和感知性能的平衡。实验结果表明，该模型对于 RGB 基于方法可以降低 99.6% 的比特率并实现可比拟的分析结果。

    Apr, 2023

  • T2CI-GAN：使用生成对抗网络进行文本到压缩图像的生成

    本文提出一种基于 DCGAN 的压缩图像生成方法，旨在实现对文本描述的压缩视觉数据直接生成，并在压缩形式下实现了最先进的性能。

    Oct, 2022

  • 基于潜在特征引导和扩散先验的极端图像压缩研究

    提出了一种新颖的极端图像压缩框架，该框架将压缩 VAEs 和预训练的文本到图像扩散模型结合在一起，通过潜在特征引导压缩模块进行图像压缩并解码为内容变量，然后利用预训练的扩散模型进一步解码这些内容变量，实验结果表明在极低比特率下，该方法在视觉表现和图像保真度方面优于现有方法。

    Apr, 2024