Feb, 2024

MISC：基于大型多模态模型驱动的超低比特率图像语义压缩

PDF
TL;DR该研究提出了一种名为多模态图像语义压缩（MISC）的方法，采用大型多模态模型（LMM）来平衡传统自然感知图像和人工智能生成图像的压缩，实现了一致性和感知结果的优化，节省了 50％的比特率，并在存储和通信领域具有强大的应用潜力。
ultra-low bitrate image compressionlarge multimodal modelmultimodal image semantic compressionbitstreamstorage and communication
发现论文，激发创造
  • 极端学习图像多模态深度网络压缩

    本文提出了一种文字引导图像压缩的多模态机器学习方法，通过使用文本的语义信息来引导图像压缩，以实现更好的压缩性能，包括采用图像 - 文本注意力模块和改进的多模态语义一致性损失函数。实验证明，该方法能够在极低比特率下获得较好的视觉效果，并且即使与最先进的技术相比，其性能也可以相媲美或超越。

    Apr, 2023

  • CMC-Bench：走向视觉信号压缩的新范式

    超低比特率图像压缩是一个具有挑战性和需求量大的主题。这篇论文介绍了一个基于图像 - 文本 - 图像的语义级压缩方法，通过验证不同模型的协同性能，证明了在超低比特率下一些模型的组合已超过最先进的视觉信号编解码器，同时强调了在压缩任务中进一步优化大规模多模态模型的方向。

    Jun, 2024

  • 资源有限网络中基于多模态相似度估计的图像生成语义传播

    该研究提出了一种基于多模态语义信息传输的图像传输方法，通过提取多模态语义信息并传输，接收方使用图像生成模型生成多张图像，并根据语义相似性进行选择。研究探索了评估原始图像和生成图像的语义特征相似性的新指标，并表明所提出的方法可促进通过移动网络进行各种服务应用的照片的传输与利用。

    Apr, 2024

  • 可压缩且可搜索：学习图像压缩的 AI 原生多模态检索系统

    我们提出了一个融合 AI-native 多模式搜索与神经图像压缩的框架，通过使用简单的适配器来提高多模式数据的压缩效率和搜索准确性，实验证明了我们的方法在数字内容、多媒体数据和大数据时代具有可伸缩性和高效性。

    Apr, 2024

  • 极低比特率图像压缩下的更多掩蔽

    本文提出了一种新颖的双自适应掩膜 (DA-Mask) 方法，该方法结合了贴片结构和纹理分布，在极低比特率下有效压缩图像。同时，该研究还结合预先训练的掩膜自编码器 (MAE) 和 DA-Mask 以及 LIC 网络提出了一种基于贴片图像建模 (MIM) 的掩膜压缩模型 (MCM) ，该方法在 R-D 性能、可视质量和下游应用方面优于最新的同类研究。

    Jun, 2023

  • DeepSIC：深度语义图像压缩

    本文提出一种名为 Deep Semantic Image Compression (DeepSIC) 的概念，提出两种新颖的架构，旨在重构压缩图像并同时生成相应的语义表示。在编码过程中，第一架构通过将一部分比特保留在压缩编码中存储语义表示进行语义分析。第二种在解码过程中使用嵌入到压缩码中的特征映射进行语义分析。通过在公开数据集上进行实验，验证本文的方法，并对所提出技术的优缺点进行了彻底分析。

    Jan, 2018

  • 面向语言的图像传输的语义潜空间表示

    基于语言的语义通信框架通过语言 - 图像编码和图像 - 语言解码，以及潜在扩散模型，实现了在嘈杂通信渠道中以较高的感知相似度重建预期图像的能力。

    May, 2024

  • 基于 MIMO 干扰信道的图像传输语义通信的基准测试

    语义通信在增强数据传输效率方面具有很大潜力。本文针对干扰情景与基准方案进行了比较研究，提出了一种抗干扰的语义通信方案。该方案基于神经网络（NNs）开发了收发机，它可以单独在接收端或发送端和接收端都集成信道状态信息（CSI）。我们还建立了一个综合损失函数来训练 IRSC 收发机，并采用动态机制来更新损失函数中各个部分的权重，以提高系统对用户的公平性。实验结果表明，所提出的 IRSC 方案能有效地学习抑制干扰，在低信噪比（SNR）环境中优于基准方案。

    Apr, 2024

  • 面向立体图像压缩的内容感知遮罩图像建模变换器

    该研究提出了一种名为 CAMSIC 的立体图像压缩框架，通过引入一种新颖的内容感知蒙版图像建模（MIM）技术，以独立地将每个图像转换为潜在表示，并采用强大的无解码器 Transformer 熵模型，来捕捉立体图像中的空间位移特征，从而实现了最新的速率失真性能。

    Mar, 2024

  • 多尺度和上下文自适应熵模型用于图像压缩

    本文提出了一种端到端可训练的图像压缩框架，采用自回归和分层先验的组合估计每个潜在表示的分布，并使用一种方法将比特率分配到每个图像以最大化 MS-SSIM。

    Oct, 2019