Apr, 2021

为高保真图像完成构建全局上下文交互

PDF
TL;DR本文提出了一种基于 transformer 架构的图像补全方法，不同于之前使用的卷积神经网络，该方法采用了一种具有小且非重叠感受野的限制性卷积神经网络，通过加入 attention-aware layer 来提升外观一致性，相较于其他方法，该方法在多个数据集上表现出更好的性能。
image completiontransformerlong-range dependenceconvolutional neural networksattention
发现论文，激发创造
  • 基于 Transformer 的高保真多元图像完成

    该论文提出了一种结合 transformer 和卷积神经网络的图像补全方法，可实现丰富的多样性和高保真度，普适性强。

    Mar, 2021

  • 利用全局注意力表示图神经网络的长距离上下文

    本篇论文提出了一种名为 GraphTrans 的算法，它将 Transformer 自注意力模块和标准的 GNN 模块相结合，并应用置换不变性的 Transformer 模块，从而解决了当前方法在表示长程依赖关系方面的不足。该算法在多个图分类任务上表现出色，说明纯粹的基于学习的方法可能适用于在图上学习高水平、长程的关系。

    Jan, 2022

  • 使用 Transformer 提升人群计数

    本文研究了全局上下文对于人群计数的作用，使用 transformer 和 token-attention module 提取了包含全局信息的特征，并在多个数据集上实验，最终达到了最佳效果。

    May, 2021

  • 基于距离加权的 Transformer 网络用于图像补全

    本文提出了一种新的架构，利用基于距离加权变换器的方法 (DWT) 来更好地理解图像组成部分之间的关系，并结合卷积神经网络 (CNNs) 和 DWT 块的优势来增强图像完成过程，通过编码全局依赖并计算基于距离加权的特征图，有效减少了视觉的歧义问题。同时，引入了残差快速傅里叶卷积 (Res-FFC) 块来结合编码器的跳跃特征与生成器提供的粗糙特征，进一步改进了对重复纹理的生成，同时还提出了一种简单有效的技术来归一化卷积的非零值，并通过细调网络层来规范梯度范数，提供了一个高效的训练稳定器。通过在三个具有挑战性的数据集上进行广泛的定量和定性实验，证明了我们提出的模型相比现有方法的优越性。

    Oct, 2023

  • Fovea Transformer：高效的结构化精细到粗糙注意力长上下文建模

    Fovea Transformer 是一种以长 - context 为中心的 Transformer 模型，通过在输入序列中构建一个多尺度树来提高模型对全局依赖性的捕捉能力，并在长 - context 摘要任务上取得了最先进的性能。

    Nov, 2023

  • LGFCTR: 图像匹配的局部和全局特征卷积变换器

    通过引入卷积变换器，本研究提出了一种捕捉图像匹配的局部环境和全局结构的新型图像匹配方法，该方法在各种基准测试中取得了卓越的性能。

    Nov, 2023

  • 探索和提取跨模态信息以用于图像字幕生成

    本研究提出基于 Transformer 的全局与局部信息探索与提炼方法，在跨模态视角下探究图像字幕生成，并在 COCO 测试集上取得了 129.3 的 CIDEr 分数。

    Feb, 2020

  • 驯服 Transformer 的高分辨率图像合成

    结合卷积神经网络与 transformers 模型的特点，实现了生成高分辨率图像的任务，并取得了 ImageNet 中类别有条件下的自回归模型的最优结果

    Dec, 2020

  • 循环线性变换

    通过引入循环替代方案以解决 transformer 自注意机制中的两个局限，本文提出了一种能够以较低成本进行推理并有效利用长程依赖的 transformer 自注意机制替代方法，在强化学习问题中实现了性能的提升。

    Oct, 2023

  • 高效的学习图片压缩的 Corner-to-Center 长距离上下文模型

    在学习图像压缩框架中，上下文模型在捕捉潜在表示之间的依赖关系方面起到关键作用。为了减少串行自回归上下文模型导致的解码时间，提出了并行上下文模型作为一种替代方法，在解码阶段只需要两个传递，从而方便实现真实场景中的高效图像压缩。然而，由于其不完整的因果上下文，会导致性能下降。针对这个问题，我们对现有的并行上下文模型中观察到的性能下降进行了深入分析，着重从信息的数量和质量两个方面进行研究。基于此分析，我们提出了基于角到中心的变压器上下文模型 (C^3M)，旨在增强上下文和潜在预测，并提高速率 - 失真性能。具体来说，我们利用基于对数的预测顺序，逐步从角到中心预测更多的上下文特征。此外，为了扩大分析和合成变换中的感受野，我们在编码器 / 解码器中使用了长程交叉注意力模块 (LCAM)，通过在不同通道中分配不同的窗口形状来捕捉远程语义信息。广泛的实验评估表明，所提出的方法是有效的，并且优于最先进的并行方法。最后，根据主观分析，我们建议在基于变压器的图像压缩中改进细节表示是一个值得探索的方向。

    Nov, 2023