May, 2024

HAAP: 基于视觉 - 上下文分层注意力自回归与自适应排列的场景文本识别

PDF
TL;DR本文提出了一种使用自适应置换的分级注意力自回归模型（HAAP）来增强位置 - 上下文 - 图像交互能力，从而改进了内部语言模型的自回归泛化。通过使用隐式置换神经元（IPN）生成自适应的注意力掩码，增加了训练数据的多样性，避免了模型对特定顺序的依赖，并减少了置换语言模型的训练开销。同时，通过交叉模态分级注意机制（CHA）将上下文和图像特征相结合，建立了丰富的位置语义依赖关系，避免了迭代细化操作。大量实验结果表明，所提出的 HAAP 在准确性、复杂性和延迟方面具有最先进的性能。
internal language modelpermutation language modelinghierarchical attention autoregressive modelimplicit permutation neuronscross-modal hierarchical attention mechanism
发现论文，激发创造
  • 图像字幕和视觉问答自动解析网络

    提出了一种自动解析网络（APN），将概率图像模型（PGM）参数化为自注意层上的注意操作，以将稀疏假设合并到输入序列的分段中，从而提高基于 Transformer 的视觉语言系统的效率。

    Aug, 2021

  • 使用置换自回归序列模型的场景文本识别

    PARSeq 使用 Permutation Language Modeling 学习了一组共享权重的内部 AR 语言模型的集合，实现了无上下文的非 AR 和有上下文的 AR 推理以及使用双向上下文的迭代细化，使用注意力机制进行文本识别，取得了在 STR 基准测试中的最新成果，并在一些具有挑战性的数据集上建立了新的 SOTA 结果。

    Jul, 2022

  • 探索随机自回归图像建模以获取视觉表征

    本文针对自回归模型在计算机视觉领域无法与其他自监督学习方法相比的问题，通过引入随机排列策略和并行编码 - 解码训练过程，提出了一种名为 SAIM 的新型随机自回归图像建模方法，取得了极大的性能提升，特别是在基于 ImageNet-1K 数据的视觉变换任务方面达到最佳精度 83.9%。

    Dec, 2022

  • HiP 注意力：带有分层注意力修剪的稀疏次二次注意力

    我们提出了一种名为 HiP 的新方法，通过层次化剪枝注意力机制将训练和推断的时间复杂度从 O (T^2) 降低到 O (T log T)，空间复杂度从 O (T^2) 降低到 O (T)，并且能够扩展到数百万个令牌的预训练 LLM 应用中。

    Jun, 2024

  • ImageBART: 双向上下文与多项式扩散的自回归图像合成

    本文研究了基于自回归模型与多项式扩散过程结合的粗粒度到细粒度的图像语境建模方法，该方法应用于图像修改技术，较单一自回归模型在高保真度生成和图像修改能力方面有着显著提高。同时，该模型可以在压缩的潜在空间下进行高效训练，能够对于无限制的用户提供的掩模进行图像修改，可解决自由形式图像修补和本地、文本引导的图像修改问题，无需特定的训练。

    Aug, 2021

  • 用于提升机器理解口语内容的分层注意力模型

    提出了一项新的任务 —— 自动理解口语内容，本文通过构造多层注意力机制的分层注意力模型（HAM）来提高自动理解口语内容任务的表现，并且通过考虑树状结构而不是顺序结构的表示方法，使得模型对 ASR 错误更加鲁棒。

    Aug, 2016

  • HOP: 历史和顺序感知的视觉语言导航预训练

    本文提出了一种新的历史和顺序感知的预训练范式，旨在提高视觉文本对应和决策能力，同时考虑了过去观察结果和未来操作预测，在 R2R、REVERIE、NDH 和 RxR 四个下游任务中与几个最先进的方法相比展示了显著的效果提高。

    Mar, 2022

  • 具有注意设计的视觉增强预测自编码器 (VAPAAD)

    我们提出了一种名为 VAPAAD 的注意力设计视频增强预测自编码器模型，该模型通过集成注意力设计提高了预测性能，能够对视频序列中的时间动态进行细致的理解和处理，通过使用著名的 Moving MNIST 数据集展示了所提模型的强大性能和在文献中的潜在适用性。

    Apr, 2024

  • HAM：面向 3D 视觉定位的高性能分层注意力模型

    本文主要介绍了针对 3D 点云的视觉定位问题，提出了基于 Transformer 和 Hierarchical Attention Model 的端到端模型，通过对三个基本问题的解决来提高模型性能，实验结果表明 HAM 模型能够在多模态视觉输入下取得领先的结果。

    Oct, 2022

  • 面向视觉表征学习的语义感知自回归图像建模

    自主训练自回归模型在计算机视觉中的发展滞后于自然语言处理，本研究提出了一种基于语义感知的自回归图像建模方法，通过对补丁的特征相似性进行排序，将自回归建模从语义补丁扩展到非语义补丁，并探索了使用补丁特征作为预测目标的方法，实验表明该方法在图像分类、目标检测和分割等多个任务中实现了卓越的性能表现。

    Dec, 2023