MMMay, 2022

DevFormer: 上下文感知设备部署的对称 Transformer

PDF
TL;DR本文介绍了一种基于 Transformer 的 DevFormer 架构，应用于硬件设计的优化问题中，其通过引入相对位置嵌入和操作置换对称性等强归纳偏差以有效地捕捉硬件上下文，以便使用有限的离线数据实现高效的设计优化，并在去耦合电容器放置问题上表现出优越的性能，同时通过减少组件数量超过 30％，在模拟和实际硬件中为其成为最先进的方法，并进一步展示了在其他离线环境下基于组合优化任务上的有希望的结果。
devformertransformer-basedhardware design optimizationinductive biasescombinatorial optimization
发现论文，激发创造
  • ProFormer：基于设备的局部敏感哈希投影变形器

    ProFormer 是一种基于投影的变压器架构，使用 LSH 投影层动态生成字表示，提高了效率和空间利用率，使用本地投影注意层进一步减少计算量，相较于 BERT 模型在设备上的表现更快更小。

    Apr, 2020

  • TinyFormer：小型设备上高效的 Transformer 设计与部署

    本文提出了 TinyFormer，这是一个专门设计用于在微控制器单元上开发和部署资源高效的 transformers 的框架，通过 SuperNAS、SparseNAS 和 SparseEngine 的组合，实现了在 MCUs 上高效部署 sparse models 以及稀疏推理。评估结果表明，TinyFormer 能够以 96.1% 的准确率开发有效的 transformers，并在稀疏推理上相对于 CMSIS-NN 库实现了高达 12.2 倍的加速。TinyFormer 将强大的 transformers 引入了 TinyML 场景，极大地扩展了深度学习应用领域。

    Nov, 2023

  • EdgeFormer: 一种高效参数的边缘 Transformer 用于设备上 Seq2seq 生成

    EdgeFormer 是一种面向严格计算和内存限制下的设备本地序列生成的小型 Transformer，应用了两个新颖的成本效益参数化原则，扩展了共享层的网络，并通过大量实验达到了竞争优势。提出了 EdgeLM，这是第一个可供公开使用的在设备上预训练的序列到序列模型，可在实践中促进设备本地序列生成并取得良好结果。

    Feb, 2022

  • DeFormer: 集成可变形模型的变压器用于从单张图片中进行三维形状抽象

    本文提出了一种名为 DeFormer 的新型双通道 Transformer 架构，通过参数化的可变形模型同时估计原语的全局和局部变形，以实现复杂对象形状的抽象化，在使用较少的原语的同时提供更广泛的几何覆盖范围和更精细的细节，并引入了力驱动的动态拟合和循环一致的投影损失来优化原语参数，在 ShapeNet 上的广泛实验表明，DeFormer 在重建准确性方面优于现有技术，并且通过一致的语义对应关系实现了可解释性的提升。

    Sep, 2023

  • ChiPFormer 离线决策 Transformer 实现可转移的芯片布局

    ChiPFormer 是一种离线强化学习算法，通过学习固定数据集，实现在芯片设计中的可转移放置策略，该算法不仅在多任务设置下更有效地利用了离线布局设计以学习可转移的策略，而且对于未知的芯片电路，有效的 fine-tuning 可将放置时间从几小时缩短至几分钟，在 32 个芯片电路的实验中，ChiPFormer 不仅大大提高了放置质量，而且相比最近的最先进技术，还将运行时间缩短了 10 倍。

    Jun, 2023

  • AutoFormer: 为视觉识别搜索 Transformer

    本文提出了一种名为 AutoFormer 的新一代架构搜索框架，该框架是针对视觉分类和检测任务中 transformer 网络设计的，通过优化 supernet 让数千个子网络获得很好的训练，最终得到的 AutoFormers 模型在 ImageNet 数据集上取得了比 ViT 和 DeiT 更高的性能，且具有良好的迁移性能和蒸馏实验性能。

    Jul, 2021

  • Uformer: 一种通用的 U 形变形器 用于图像修复

    本文介绍了 Uformer - 一种基于 Transformer 的高效图像恢复架构，在其中构建了使用 Transformer 块的分层编码器 - 解码器网络。使用局部增强窗口 (LeWin) Transformer 块和多尺度恢复调制器，Uformer 具有高效捕获局部和全局图像依赖性的能力，可用于多种图像恢复任务，并在实验证明与最先进的算法相比具有卓越的性能。

    Jun, 2021

  • PartialFormer：建模部分而非整体

    本论文介绍了 PartialFormer—— 一种参数有效的 Transformer 架构，利用多个较小的前馈神经网络来减少参数和计算量，同时保持重要的隐藏维度，并通过一个多头注意力系统实现有效的协同工作。还介绍了一种定制的头缩放策略和改进 PartialFormer 深度扩展的注意力计算方法，对 9 个翻译任务和 1 个抽象摘要任务的大量实验验证了 PartialFormer 方法的有效性。

    Oct, 2023

  • DAFormer：用于领域自适应语义分割的网络架构和训练策略的改进

    本研究基于最新的神经网络架构研究了无监督域适应（UDA）领域，在语义分割方面揭示了 Transformers 的潜力。基于研究结果，本研究提出了一种新的 UDA 方法 DAFormer，并且通过三种简单却至关重要的训练策略，DAFormer 的实现在 GTA-to-Cityscapes 和 Synthia-to-Cityscapes 语义分割任务中取得了比目前最先进方法更好的表现。

    Nov, 2021

  • Todyformer：面向全面的动态图卷积网络和结构感知分词

    Temporal Graph Neural Networks 和 Transformers 结合，提出了一种用于动态图的新型 Transformer-based 神经网络 Todyformer，它通过将 MPNNs 的局部编码能力与 Transformers 的全局编码能力相结合来改善性能限制，并通过时间位置编码捕捉长距离依赖关系，实验证明在公共基准数据集上 Todyformer 在下游任务中 consistently 超过了最先进方法，并且在捕获动态图中广泛的时间依赖关系方面具有有效性。

    Feb, 2024