BriefGPT.xyz
Ask
alpha
关键词
relative position encoding
搜索结果 - 4
StableMask:在仅使用解码器的 Transformer 中优化因果掩码
通过改进因果掩码的方法,提出了 StableMask,解决了 decoder-only Transformer 架构中的限制,并在语言模型中得到了显著的增强。
PDF
5 months ago
CVPR
适用于 3D 点云分割的分层 Transformer
本文提出了 Stratified Transformer 算法,实现了对于长程依赖的建模,通过关键采样策略提高了机器学习模型的有效感受野,并且结合位置编码增强了性能与收敛速度。实验也证明了该算法在三个数据集上的有效性和优越性。
PDF
2 years ago
EMNLP
PermuteFormer:用于长序列的高效相对位置编码
本文讨论了如何将相对位置编码添加到 Performer 模型中,提出了一种基于 Performer 模型的相对位置编码的模型 PermuteFormer。在长序列数据集 Long-Range Arena 和语言建模数据集 WikiText-
→
PDF
3 years ago
ICCV
重新思考和改进相对位置编码在视觉变换器中的应用
本文介绍了相对位置编码的在图像识别中的研究,提出了基于 2D 图像的新型相对位置编码方法,即图像 RPE。经过实验验证,该方法可以显著提高 DeiT 和 DETR 的准确率,而不需要额外的超参数调节。
PDF
3 years ago
Prev
Next