Feb, 2024
预训练变压器可作为通用逼近器
Prompting a Pretrained Transformer Can Be a Universal Approximator
Aleksandar Petrov, Philip H.S. Torr, Adel Bibi
TL;DR通过 prompt tuning 和 prefix-tuning,本论文探讨了预训练模型能否被任意修改以逼近序列到序列函数,证明了通过加前缀可以使比先前认为的更小的预训练模型成为普遍逼近模型。此外,本论文还给出了逼近函数所需前缀长度的限制。