CVPRJun, 2021

带可逆注意力的生成流

PDF
TL;DR本文介绍了两种可逆注意力机制，即基于映射和变换器的注意力，用于无条件和有条件的生成流。这些注意力机制利用掩码方案学习生成流上的长程数据依赖关系，并产生更有效的生成流模型，证明了其与最先进的生成流相比的优越性。
flow-based generative modelsinvertible attention mechanismsmap-basedtransformer-basedlong-range data dependencies
发现论文，激发创造
  • Flowformer: 线性化变压器与守恒流

    本文提出了基于流网络理论的 Flow-Attention 机制以解决 Transformers 中注意力机制的复杂度难题，并在各个领域取得了线性时间性能，包括长序列，时间序列，视觉，自然语言和强化学习等。

    Feb, 2022

  • 基于流的生成建模的通用可逆变换

    本文提出了一种新的可逆变换类别，并将其应用于基于流的生成模型，提出两种新的耦合层并在数字数据实验中验证，表明这些新的耦合层能够在 Integer Discrete Flows（IDF）中取得比标准耦合层更好的效果，并能导出一些已知的可逆转换。

    Nov, 2020

  • 变形金刚中的注意力流量量化

    本文提出两种方法 —— 注意力展开和注意力流 —— 用于近似计算相对于输入令牌的注意力权重，以解决在 Transformer 模型中，由不同令牌产生不同的信息流动混合，使得注意力权重不可靠作为解释探针的问题。与原始注意力相比，这两种方法均具有更高的输入梯度基于消融法重要性评分相关性。

    May, 2020

  • 循环线性变换

    通过引入循环替代方案以解决 transformer 自注意机制中的两个局限，本文提出了一种能够以较低成本进行推理并有效利用长程依赖的 transformer 自注意机制替代方法，在强化学习问题中实现了性能的提升。

    Oct, 2023

  • 从块 - Toeplitz 矩阵到图上的微分方程：迈向可扩展遮蔽 Transformer 的普适理论

    本文提供了一种全面的方法，可以在可扩展的方式中将各种掩码机制纳入 Transformers 架构。我们提出了一种基于拓扑的建模方法，可以生成高效的 d 维 RPE 掩码和图核心掩码。

    Jul, 2021

  • 突破注意力瓶颈

    通过开发一种生成函数来解决基于关注机制的注意力变量效率低的问题，该方法在处理变长输入序列和建模长程依赖方面具有更小的模型和更小的损失。

    Jun, 2024

  • 图像变换器

    在这项工作中，我们将基于自我关注机制的模型架构 ——Transformer 模型，泛化到图像生成的序列建模问题上，并通过限制自我关注机制只关注局部邻域，显著提高了模型能够实际处理的图像大小，同时在图像生成方面显著优于当前最优秀的状态，提高了 ImageNet 上最佳公布的负对数似然从 3.83 到 3.77，同时还针对大放大倍数进行了图像超分辨率实验。在人类评估研究中，我们发现，我们超分辨率模型生成的图像比先前的最优模型更能欺骗人类观察者。

    Feb, 2018

  • NiNformer：一种带有令牌混合生成门控函数的网络中网络 Transformer

    该论文介绍了一种用于减少计算负担的新的计算模块，通过替换标准的注意力层为具有动态学习元素级门控函数的网络结构，增强了 MLP Mixer 的静态方法，从而在图像分类任务中比基准架构表现更好。

    Mar, 2024

  • 使用流变换器进行视频帧插值

    我们提出了一种视频帧插值流 Transformer 的方法，通过将运动动态从光流中引入自注意机制，使得我们的框架适用于插值具有大运动的帧，同时保持相对较低的复杂性，并通过构建多尺度架构来提高整体性能，实验证明该方法能够生成比现有方法更好视觉质量的插值帧。

    Jul, 2023

  • 离散流：可逆离散数据生成模型

    本文探讨了 normalizing flows 模型在离散分布上的应用，提出了可以推广到离散事件的离散流模型。其中考虑了离散自回归流和离散二部流模型， 并应用于语言模型中。实验证明于离散分布上离散自回归流优于自回归基线模型，在字符级别的语言建模上离散二部流可以与自回归基线模型竞争。

    May, 2019