BriefGPT.xyz
大模型
Ask
alpha
关键词
bert-style
搜索结果 - 1
EMNLP
位置编码的局部性与对称性
位置编码(PEs)用于将单词顺序信息注入基于 Transformer 的语言模型中。本研究对双向遮蔽语言模型(BERT-style)中的位置编码进行了系统研究,揭示了其核心功能和与下游任务性能相关的两个常见特性(局部性和对称性),并对当前位
→
PDF
8 months ago
Prev
Next