Oct, 2023

仅使用基于注意力的神经网络进行图像压缩

PDF
TL;DR本研究探讨了只使用注意力层进行图像压缩的可行性，并在我们的新模型 QPressFormer 中引入了学习的图像查询的概念，通过交叉注意力聚合补丁信息，然后进行量化和编码技术，通过对 Kodak、DIV2K 和 CLIC 数据集进行全面评估，显示了无卷积架构在图像压缩中达到了竞争性的性能。
learned image compressionhandcrafted pipelinesattention blockstransformer-based architecturesqpressformer
发现论文，激发创造
  • 基于注意力机制的图像压缩后处理卷积神经网络

    提出了一种基于注意力机制的卷积神经网络用于低码率图像压缩的后处理，该后处理模块采用 MAE 和 MS-SSIM 损失训练，在 0.15 比特率下平均 PSNR 最高可达 32.10。

    May, 2019

  • 窗口化注意力在图像压缩中的应用

    本文提出了一种基于 Transformer 和注意力机制的对称变压器框架，其中融合了局部感知机制和全局相关特征学习，在图像压缩方面表现出更好的效果。

    Mar, 2022

  • 可验证和高能效的医学图像分析：基于量化自注意力深度神经网络

    通过使用基于自注意力的量化独立模型代替传统的卷积神经网络，我们在分类和分割任务上实验验证了其性能，发现在 CPU 预测时，模型大小可减少 50-80％，参数数量可减少 60-80％，FLOPs 数可减少 40-85％，能源效率可提高 65-80％，这种代替的方法是一种可选的解决方案。

    Sep, 2022

  • 利用注意力机制进行基于补丁的生物医学图像分类

    医学图像分析可以通过一种扎根于自注意机制的创新架构得到促进。传统的卷积神经网络（CNN）在捕捉像素级复杂空间和时间关系时需要帮助，而其卷积窗口的固定大小限制了输入波动。为了克服这些限制，我们提出了基于注意力模型而非卷积的新范式。这些模型作为传统 CNN 的替代品，表现出强大的建模能力和高效获取全局长范围上下文信息的能力。通过将非重叠（vanilla patching）和新颖的重叠移位补丁技术（S.P.T.s）相结合，我们的工作提供了一种解决注意力视觉模型所面临的关键挑战的方法，包括归纳偏差、权重共享、感受野限制和高分辨率数据处理。此外，我们还研究了适应不同图像尺寸到更高分辨率的新颖 Lancoz5 插值技术。实验证据验证了我们模型的一般化效果，并与现有方法进行了有利比较。特别是在充足数据的情况下，基于注意力的方法特别有效，尤其是在集成先进的数据增强方法来增强它们的鲁棒性时。

    Apr, 2024

  • 混合 Transformer-CNN 结构的学习图像压缩

    本文提出了一种高效的并行 Transformer-CNN 混合块，用于将 CNN 的本地建模能力和 Transformer 的非本地建模能力相结合，以提高图像压缩模型的整体架构，并在熵估计模型和注意力模块方面取得了最新进展，实验结果表明，该方法在三个不同分辨率的数据集上均实现了具有创新性的率失真表现.

    Mar, 2023

  • 神经分布式图像压缩与交叉注意特征对齐

    本文介绍了一种新的编解码方法，可以压缩成对立体图像并利用解码器端的相关性附加信息，以更有效地重构图像。该算法利用了交叉注意力模块对齐处理相关特征图，实验验证了其在 KITTI 和 Cityscape 数据集上的优越性能。

    Jul, 2022

  • 联合全局和局部分层先验的学习图像压缩

    通过 attention 机制，我们提出了一种新的信息变换学习熵模型，能更好地处理图像压缩的全局和局部依赖关系，实验证明该模型取得了优于现有技术的率失真性能，并且没有二次计算复杂度问题。

    Dec, 2021

  • 非局部关注优化的深度图像压缩

    本文提出了一种基于自动编码器的新型非局部注意力优化深度图像压缩（NLAIC）框架，该框架将非局部操作嵌入编码器和解码器中，以捕捉局部和全局关联，并应用注意机制生成用于加权图像和超先验特征的掩码，从而根据其重要性隐含地适应不同特征的比特分配。此外，超先验和潜在特征的空间 - 通道邻居被用来改进熵编码。该模型在 Kodak 数据集上的性能优于现有的图像压缩方法，包括基于学习的（例如 Balle2019，Balle2018）和传统的（例如 BPG，JPEG2000，JPEG）图像压缩方法，无论是 PSNR 还是 MS-SSIM 畸变度量。

    Apr, 2019

  • 非局部注意力优化及改进上下文建模的神经图像压缩

    本文提出了一种基于深度神经网络（DNN）的 VAE 结构的新型非局部注意力优化和改进的上下文建模图像压缩（NLAIC）算法，采用了非局部网络操作嵌入到编码器和解码器中，通过采用关注机制生成掩码来让特征自适应量化，实现了改进条件熵建模潜在特征，可在实际应用中增加速度、降低内存消耗和减轻实现复杂度的额外增强措施，并在 Kodak 和 CLIC 数据集上取得了与现有方法相比的最新压缩功率效率。

    Oct, 2019

  • 深度重建压缩感知显著性骨架引导图像压缩

    提出了 AGDL，一种基于深度学习的双层图像压缩系统，用注意力机制识别感知关键像素，利用压缩感知技术进一步采样，进一步提升重构效果，并在感知感受度图像压缩领域取得了最新的进展。

    Mar, 2021