Oct, 2019

非局部注意力优化及改进上下文建模的神经图像压缩

PDF
TL;DR本文提出了一种基于深度神经网络（DNN）的 VAE 结构的新型非局部注意力优化和改进的上下文建模图像压缩（NLAIC）算法，采用了非局部网络操作嵌入到编码器和解码器中，通过采用关注机制生成掩码来让特征自适应量化，实现了改进条件熵建模潜在特征，可在实际应用中增加速度、降低内存消耗和减轻实现复杂度的额外增强措施，并在 Kodak 和 CLIC 数据集上取得了与现有方法相比的最新压缩功率效率。
发现论文，激发创造
  • 非局部关注优化的深度图像压缩

    本文提出了一种基于自动编码器的新型非局部注意力优化深度图像压缩（NLAIC）框架，该框架将非局部操作嵌入编码器和解码器中，以捕捉局部和全局关联，并应用注意机制生成用于加权图像和超先验特征的掩码，从而根据其重要性隐含地适应不同特征的比特分配。此外，超先验和潜在特征的空间 - 通道邻居被用来改进熵编码。该模型在 Kodak 数据集上的性能优于现有的图像压缩方法，包括基于学习的（例如 Balle2019，Balle2018）和传统的（例如 BPG，JPEG2000，JPEG）图像压缩方法，无论是 PSNR 还是 MS-SSIM 畸变度量。

    Apr, 2019

  • 学习基于上下文的非局部熵建模用于图像压缩

    本文提出了基于全局相似性的非局部关注块来进行上下文建模，在熵编码中应用该方法，进而在联合速率失真优化中引导分析转换与合成转换网络的训练，并最终使用 U-Net 块增加转换的宽度，从而在 Kodak 和 Tecnick 数据集上实现了超越现有标准与最新深度图像压缩模型的低失真压缩。

    May, 2020

  • 图像超分辨率的高效非局部对比度注意力

    本文提出了一种新的高效非局部对比度注意力 (Efficient Non-Local Contrastive Attention, ENLCA)，实现了长距离视觉建模和更多相关非局部特征的利用。通过引入核方法来近似指数函数，达到线性计算复杂度，并通过对比学习从而进一步分离相关和无关特征，证明了 ENLCA 的有效性。

    Jan, 2022

  • 非局部上下文编码器：对抗性攻击下的强健生物医学影像分割

    本文发现了基于 CNN 的医学图像分割模型对于对抗性干扰的敏感性，提出了一种利用全局空间依赖和全局上下文信息进行防守性攻击的非局部上下文编码器（NLCE）以及强化通道注意力的全局特征激活方案，证明 NLCE 具有良好的防御性能和稳定性。

    Apr, 2019

  • 使用嵌套图神经网络进行图像级别的关注上下文建模

    本文提出了一种名为图像级别关注上下文建模（ILAC）的新场景图生成方法，旨在建立一个基于图像级别特征的关注图网络，从而有效地在图形间传播上下文信息。该方法使用单流网络迭代地优化场景图，展现了与基于物体的上下文相比有更好的性能，在 Visual Genome 数据集上表现优异，需要的参数比其他方法少，并且在结合关系图像级别信息后，还可以提高常规物体探测器的性能。

    Nov, 2018

  • 高效可学习的单幅图像超分辨率协同注意力

    我们提出了一种新颖的可学习协同注意力（LCoA）方法，通过引入归纳偏差来解决非局部建模中的高计算复杂性和内存消耗问题，并将其集成到深度可学习协同注意力网络（LCoAN）中，与其他先进的超分辨率方法相比，在推理时间、内存消耗和重建质量等方面取得了有竞争力的性能。

    Apr, 2024

  • 仅使用基于注意力的神经网络进行图像压缩

    本研究探讨了只使用注意力层进行图像压缩的可行性，并在我们的新模型 QPressFormer 中引入了学习的图像查询的概念，通过交叉注意力聚合补丁信息，然后进行量化和编码技术，通过对 Kodak、DIV2K 和 CLIC 数据集进行全面评估，显示了无卷积架构在图像压缩中达到了竞争性的性能。

    Oct, 2023

  • 基于 Transformer 的图像压缩

    本文提出了一种基于 Transformer 的图像压缩方法（TIC），使用深度神经网络来分析和压缩输入图像，与最先进的基于卷积神经网络和基于人工编码规则压缩算法相比，该方法具有更少的参数个数，达到了同等性能。

    Nov, 2021

  • 基于神经网络的千兆级组织病理图像压缩分析

    本文提出了一种名为神经图像压缩（NIC）的两步方法来构建卷积神经网络，以仅使用弱的图片级标签对吉盘素级图像进行分析。

    Nov, 2018

  • 联合分层先验与自适应空间分辨率用于高效神经图像压缩

    该研究提出了一种改进的变压器 (Transformers) 自回归先验模型及 ConvNeXt-based 预 / 后处理器，并将其应用于图像压缩，提高了压缩效率和解码复杂度的权衡。

    Jul, 2023