EMNLPFeb, 2022

EdgeFormer: 一种高效参数的边缘 Transformer 用于设备上 Seq2seq 生成

PDF
TL;DREdgeFormer 是一种面向严格计算和内存限制下的设备本地序列生成的小型 Transformer，应用了两个新颖的成本效益参数化原则，扩展了共享层的网络，并通过大量实验达到了竞争优势。提出了 EdgeLM，这是第一个可供公开使用的在设备上预训练的序列到序列模型，可在实践中促进设备本地序列生成并取得良好结果。
发现论文，激发创造
  • DevFormer: 上下文感知设备部署的对称 Transformer

    本文介绍了一种基于 Transformer 的 DevFormer 架构，应用于硬件设计的优化问题中，其通过引入相对位置嵌入和操作置换对称性等强归纳偏差以有效地捕捉硬件上下文，以便使用有限的离线数据实现高效的设计优化，并在去耦合电容器放置问题上表现出优越的性能，同时通过减少组件数量超过 30％，在模拟和实际硬件中为其成为最先进的方法，并进一步展示了在其他离线环境下基于组合优化任务上的有希望的结果。

    May, 2022

  • ProFormer：基于设备的局部敏感哈希投影变形器

    ProFormer 是一种基于投影的变压器架构，使用 LSH 投影层动态生成字表示，提高了效率和空间利用率，使用本地投影注意层进一步减少计算量，相较于 BERT 模型在设备上的表现更快更小。

    Apr, 2020

  • SegFormer：使用 Transformer 简单高效的语义分割设计

    SegFormer 是一种简单、高效而强大的语义分割框架，它将 Transformers 和轻量级的多层感知机解码器统一在一起。我们展示了这种轻量简单设计对提高 Transformers 语义分割效率的关键所在，并为 SegFormer 构建了一系列模型，其中最好的模型 - SegFormer-B5，在 Cityscapes 验证集上达到了 84.0％的 mIoU，显示了出色的零 - shot 鲁棒性。

    May, 2021

  • Edgeformers: 基于图的 Transformers 在文本边界网络上进行表征学习

    Edgeformers 是建立在图增强 Transformer 之上的框架，通过对边缘文本进行建模来执行边缘和节点表示学习。在五个公共数据集中，Edgeformers 在边缘分类和链接预测方面始终优于最先进的基线，显示了学习边和节点表示的效力。

    Feb, 2023

  • NodeFormer: 用于节点分类的可扩展图结构学习变压器

    本文提出了一种基于新的所有对消息传递机制和核化 Gumbel-Softmax 算子的节点分类网络，名叫 NodeFormer，特别针对处理大规模图中的长距离依赖、边的不完整性等问题提出了解决方案，并在多项实验中验证了其有效性。

    Jun, 2023

  • SeqFormer: 序列 Transformer 用于视频实例分割

    本文介绍了 SeqFormer，一种基于视频实例分割的模型，通过注意力机制捕捉视频帧之间的关系，定位每帧的实例并聚合时间信息，从而实现自然的实例跟踪并预测动态遮罩序列，结合 Swin Transformer 可获得更高的 AP，是视频实例分割领域的强基线模型。

    Dec, 2021

  • RealFormer: 喜欢残差注意力的 Transformer

    提出了一种名为 RealFormer 的技术，可以创建残差注意力层的 Transformer 网络，并在许多任务上显著优于标准 Transformer 及其变体。该技术不仅稳定了训练，而且还可以导致具有更少注意力的模型，并提供了预训练检查点。

    Dec, 2020

  • PartialFormer：建模部分而非整体

    本论文介绍了 PartialFormer—— 一种参数有效的 Transformer 架构，利用多个较小的前馈神经网络来减少参数和计算量，同时保持重要的隐藏维度，并通过一个多头注意力系统实现有效的协同工作。还介绍了一种定制的头缩放策略和改进 PartialFormer 深度扩展的注意力计算方法，对 9 个翻译任务和 1 个抽象摘要任务的大量实验验证了 PartialFormer 方法的有效性。

    Oct, 2023

  • FlowFormer: 光学流的 Transformer 架构

    FlowFormer 是一种基于 Transformer 网络的神经网络结构，用于学习光流，并在 Sintel 基准测试中获得了最佳效果。

    Mar, 2022

  • Subformer: 探索生成变形器中参数效率的权重共享

    介绍了一种在 Transformers 中使用参数共享方法的算法 Subformer，该算法通过结合几种不同的参数共享 / 降维方法，以及使用 SELF 进行自我关注的嵌入分解技术，以在机器翻译、提取式摘要和语言建模等任务中提高性能。

    Jan, 2021