提出了一种基于 transformers 的上下文模型 Contextformer，在学习压缩图像的过程中，该模型可以泛化到高维空间，并通过引入空间信道关注机制，从而进一步提高上下文相关性和适应性。与其他基于学习的模型相比，在 Kodak、CLIC2020 和 Tecnick 图像数据集上对比实验结果表明，提出的模型比其他方法实现更高的图像压缩效率，并取得了较高的 PSNR 和 MS-SSIM 分数。

Mar, 2022

在学习图像压缩框架中，上下文模型在捕捉潜在表示之间的依赖关系方面起到关键作用。为了减少串行自回归上下文模型导致的解码时间，提出了并行上下文模型作为一种替代方法，在解码阶段只需要两个传递，从而方便实现真实场景中的高效图像压缩。然而，由于其不完整的因果上下文，会导致性能下降。针对这个问题，我们对现有的并行上下文模型中观察到的性能下降进行了深入分析，着重从信息的数量和质量两个方面进行研究。基于此分析，我们提出了基于角到中心的变压器上下文模型 (C^3M)，旨在增强上下文和潜在预测，并提高速率 - 失真性能。具体来说，我们利用基于对数的预测顺序，逐步从角到中心预测更多的上下文特征。此外，为了扩大分析和合成变换中的感受野，我们在编码器 / 解码器中使用了长程交叉注意力模块 (LCAM)，通过在不同通道中分配不同的窗口形状来捕捉远程语义信息。广泛的实验评估表明，所提出的方法是有效的，并且优于最先进的并行方法。最后，根据主观分析，我们建议在基于变压器的图像压缩中改进细节表示是一个值得探索的方向。

Nov, 2023

通过使用 In-Context Former 方法，我们成功减少了基于 Transformer 的大型语言模型的压缩成本，并使得实时压缩的场景成为可能。

Jun, 2024

提出了基于 Transformer 的非线性变换和包含两个不同超先验的熵模型，通过有效地捕获输入图像的局部和全局信息以及利用远距关系提取长程信息，能够在速率 - 失真性能方面表现优于现有的方法。

Sep, 2023

本文提出了一种交叉通道上下文模型，用于在深度图像压缩中的潜在变量。与传统的 2D mask 卷积只能捕捉空间上下文不同，在局部上下文中，加入交叉通道上下文可以更好地留存邻近通道的信息。

Mar, 2021

提出了一种新的 Transformer 模型的压缩方法 EcoFormer，通过核化哈希将查询和键映射为低维二进制码，并在自监督学习的方式下匹配注意力图中提取的相似关系，可以实现 Attention 机制的线性复杂度并在芯片能耗上节省很多资源。

Sep, 2022

提出了一种新型的基于 Transformer 的熵模型（Entroformer），用于在图像压缩中有效地捕获远距离依赖，并通过并行双向上下文模型加速解码进程，实现了最先进的性能。

Feb, 2022

本文提出了一种能够学习到跨话语上下文特征的紧凑的低维度的特征表示方法，并通过在先前话语的历史向量上应用特殊设计的注意力池化层，来优化了基于 Conformer-Transducer 编码器的 ASR 系统，在 1000 小时的 Gigaspeech 语音语料上进行了实验，结果表明相对于仅使用话语内部语境的基线模型，该系统达到了 0.7% 至 0.5% 的绝对词错误率的统计显着降低（相对降低了 4.3% 至 3.1%） 的效果。

Jun, 2023

本文介绍了 Uformer - 一种基于 Transformer 的高效图像恢复架构，在其中构建了使用 Transformer 块的分层编码器 - 解码器网络。使用局部增强窗口 (LeWin) Transformer 块和多尺度恢复调制器，Uformer 具有高效捕获局部和全局图像依赖性的能力，可用于多种图像恢复任务，并在实验证明与最先进的算法相比具有卓越的性能。

Jun, 2021

本文介绍了一种基于视觉的语义场景补全方法，通过稀疏到稠密的转换和上下文与几何感知，使用 CGFormer 神经网络结构在不同尺度上提高了语义和几何表示能力，取得了在两个基准数据集上的最优性能。

May, 2024