Jul, 2023
基于张量技巧的上下文学习注意力机制:从单个 softmax 回归到多个 softmax 回归
In-Context Learning for Attention Scheme: from Single Softmax Regression to Multiple Softmax Regression via a Tensor Trick
Yeqi Gao, Zhao Song, Shenghao Xie
TL;DR本文介绍了注意力相关回归问题在矩阵形式下的向量化技术及利普希茨分析结果。