Oct, 2023

PartialFormer：建模部分而非整体

PDF
TL;DR本论文介绍了 PartialFormer—— 一种参数有效的 Transformer 架构，利用多个较小的前馈神经网络来减少参数和计算量，同时保持重要的隐藏维度，并通过一个多头注意力系统实现有效的协同工作。还介绍了一种定制的头缩放策略和改进 PartialFormer 深度扩展的注意力计算方法，对 9 个翻译任务和 1 个抽象摘要任务的大量实验验证了 PartialFormer 方法的有效性。
transformerfeed-forward neural networkspartialformerparameter-efficientmulti-head attention system
发现论文，激发创造
  • 一种广泛前馈即可解决所有问题

    通过删除解码器层的 FFN 并在编码器中共享单个 FFN，我们能够大幅减少参数数量，只有轻微的准确率下降，最终通过增加共享 FFN 的隐藏维度将这个架构恢复到原始尺寸，从而取得了在准确率和延迟方面的显著提升。

    Sep, 2023

  • RealFormer: 喜欢残差注意力的 Transformer

    提出了一种名为 RealFormer 的技术，可以创建残差注意力层的 Transformer 网络，并在许多任务上显著优于标准 Transformer 及其变体。该技术不仅稳定了训练，而且还可以导致具有更少注意力的模型，并提供了预训练检查点。

    Dec, 2020

  • MatFormer: 嵌套变压器用于弹性推理

    MatFormer 介绍了一种嵌套的 Transformer 架构，允许精细控制模型大小和推理延迟，同时能提取准确的子模型以降低推理时间。

    Oct, 2023

  • ReduceFormer：通过求和进行张量缩减的注意力

    Transformers 的计算机视觉任务中，通过使用简化架构和改进的推理性能的 ReduceFormer 模型系列，有效地解决了传统 Transformer 模型中的计算问题，降低了延迟和提高了吞吐量，适用于计算资源和内存带宽有限的边缘设备以及追求高吞吐量的云计算。

    Jun, 2024

  • 高效远程 Transformer：你需要参与更多，但不一定是每一层

    提出了一种名为 MASFormer 的变种 Transformer 模型，它通过混合的注意力机制在处理长序列数据时既能捕捉到长距离依赖关系，又能在其余层使用稀疏注意力提高计算效率。实验结果表明，该模型在自然语言建模和生成任务中能够达到与全注意力的 Transformer 模型相媲美的性能，同时显著降低计算成本（多达 75%），并对长序列数据的持续训练和序列长度对下游生成任务的影响进行了研究。

    Oct, 2023

  • NormFormer: 更好的 Transformer 预训练模型，附加额外的归一化处理

    NormFormer 结构通过在每一层中添加三种规范化操作，即经过自注意力后的层规范化、自注意力输出的头缩放以及在第一个全连接层后的层规范化来解决 Pre-LayerNorm transformer 在预训练过程中梯度幅度失配的问题。与基线模型相比，NormFormer 无需额外计算成本 (+0.4% 参数增加），对不同规模的语言模型的预训练感知度和下游任务表现都有所改善。此外，NormFormer 结构能够在相同的计算预算下比基线模型更快达到相等的预训练感知度，或者以更小的预训练感知度达到更好的训练效果。用 NormFormer 结构进行的掩蔽语言建模可将预训练过程的 GLUE 性能提高 1.9%。

    Oct, 2021

  • FaceFormer：基于 Transformer 的尺度感知盲人脸部修复

    本研究提出了一种新型的规模感知的盲目人脸修复模型，名为 FaceFormer，利用 Facial Feature Up-sampling 模块生成动态上采样滤波器以适应不同尺度的脸部输入，并借助于 facial feature embedding 模块利用 transformer 分层提取面部潜在多样性和稳健性，该方法在合成数据集训练得到的结果不仅具有高保真度和鲁棒性，还能泛化至自然低质量图像。

    Jul, 2022

  • Brainformers: 简单性与效率的平衡

    本文介绍了一种名为 Brainformer 的复合深度神经网络模型，其中包括稀疏门控前馈层、紧密前馈层、自注意层以及不同形式的层规范化和激活函数。 Brainformer 模型表现优异且更为高效，比当前最先进的密集和稀疏的 Transformers 模型快 5 倍。在下游任务评估中，Brainformer 模型与 GLaM 模型相比，细调后 SuperGLUE 得分高出 3％。

    May, 2023

  • AutoFormer: 为视觉识别搜索 Transformer

    本文提出了一种名为 AutoFormer 的新一代架构搜索框架，该框架是针对视觉分类和检测任务中 transformer 网络设计的，通过优化 supernet 让数千个子网络获得很好的训练，最终得到的 AutoFormers 模型在 ImageNet 数据集上取得了比 ViT 和 DeiT 更高的性能，且具有良好的迁移性能和蒸馏实验性能。

    Jul, 2021

  • ParaFormer: 并行注意力变换器用于高效特征匹配

    本论文提出了基于深度学习和两种新型概念 ——ParaFormer 和基于图形的 U-Net 结构，以实现卓越的性能和高效率，通过在各种应用（包括单应性估计、姿态估计和图像匹配）上进行多项实验证明 ParaFormer-U 变体在保证性能同时，计算量仅为现有基于注意力模型的 50%。

    Mar, 2023