performers | BriefGPT - AI 论文速递

关键词performers

搜索结果 - 5

Mnemosyne: 使用 Transformers 训练 Transformers
该研究提出了 Mnemosyne 优化器，使用 Performers 隐式低秩关注 Transformers 学习对整个神经网络架构进行优化，能够广义地训练视觉 Transformers 以及在机器人应用中初始化优化器以实现更快的收敛速度，
PDFa year ago
实时关注学习模型预测控制器用于现实导航
提出一种新的隐式控制策略，即 Performer-MPC，它使用由 Performers 提供的视觉上下文嵌入进行参数化的学习代价函数，并通过联合训练代价函数和构建控制器来有效地解决对应的双层优化问题。与标准 MPC 策略相比，Perfor
PDF2 years ago
EMNLPPermuteFormer：用于长序列的高效相对位置编码
本文讨论了如何将相对位置编码添加到 Performer 模型中，提出了一种基于 Performer 模型的相对位置编码的模型 PermuteFormer。在长序列数据集 Long-Range Arena 和语言建模数据集 WikiText-
PDF3 years ago
亚线性内存：如何使 Performers SLiM
在深度学习方面，使用 Transformer 架构的计算成本很高，使用近期提出的各种线性自我关注机制来解决，观察到 Performers 具有极大的计算灵活性，并且可以在训练期间仅占用 O（1）的内存，为去中心化和民主化的深度学习做出贡献。
PDF4 years ago
ICLR重塑注意力：使用 Performer
本文介绍 Performers，这是 Transformer 结构，可以通过使用一种称为 FAVOR + 的新方法来估计常规（softmax）全秩注意力 Transformers，其具有可证明的准确性，但仅使用线性（而不是二次）空间和时间复
PDF4 years ago