sequence-to-sequence functions | BriefGPT

关键词sequence-to-sequence functions

搜索结果 - 4

预训练变压器可作为通用逼近器
通过 prompt tuning 和 prefix-tuning，本论文探讨了预训练模型能否被任意修改以逼近序列到序列函数，证明了通过加前缀可以使比先前认为的更小的预训练模型成为普遍逼近模型。此外，本论文还给出了逼近函数所需前缀长度的限制。
PDF4 months ago
基于无穷维度输入的序列到序列函数的转换器逼近与估计能力
本文研究了 Transformer 网络作为具有无限维输入的序列到序列函数的逼近和估计能力，证明了当目标函数具有各向异性平滑性时，Transformer 可以通过其特征提取能力和参数共享属性避免维数爆炸，并证明了在输入发生变化时 Trans
PDFa year ago
Transformer meets Stochastic Block Model: 数据自适应稀疏性和成本的注意力
本研究提出了 SBM-Transformer 模型，利用基于混合成员资格随机块模型（SBM）的稀疏注意力来解决二次成本问题，并证明了 SBM-Transformer 是任意序列到序列函数的通用逼近器，同时在 LRA 和 GLUE 基准测试中
PDF2 years ago
ICLRTransformer 是否是序列到序列函数的通用逼近器？
本文证明了 Transformer 模型具有连续排列等变序列到序列函数的通用逼近性，并且使用位置编码绕过了排列等变性的限制，展示了 Transformer 可以普遍逼近任意的连续序列到序列函数。该文章的基础是对 Transformer 中自
PDF5 years ago