BriefGPT.xyz
Ask
alpha
关键词
attention mask
搜索结果 - 4
深呼吸：用哨兵标记增强大型语言模型的语言建模
我们提出了一种简单而有效的方法，通过将文本分割成多个块并在每个块的末尾插入特殊标记 <SR>，修改注意力掩码以将块的信息整合到相应的 <SR> 标记中，从而使 LLMs 能够从历史上的个别标记以及 <SR> 标记中解释信息，从而汇集块的语义
→
PDF
20 days ago
ACL
Transformer 语法：在规模上增强具有语法归纳偏见的转换语言模型
Transformer Grammars 是一种新颖的语言模型，通过特殊的注意力掩码和确定性转换实现递归句法组合，提高了句子级别和句法敏感的语言建模性能，在长文本建模中，递归的句法组合对表示整个句子向量造成了瓶颈并影响了逼近度，表明一个独立
→
PDF
2 years ago
CVPR
SwinBERT：基于稀疏注意力的端到端变压器模型用于视频字幕生成
本文提出了一种基于 SwineBERT 的视频字幕生成模型，该模型通过对稠密采样的视频帧进行变换来进行自适应学习，同时通过自适应学习稀疏注意力掩码来对长序列视频进行建模以实现任务性能提升，在五个电影字幕数据集上取得了显著的性能改进和新的最佳
→
PDF
3 years ago
PA-GAN: 面部属性编辑的渐进式注意力生成对抗网络
本文提出了一种基于渐进式注意力 GAN 的人脸属性编辑方法，通过每个级别的注意力掩模约束在适当的属性区域内，从高到低的特征级别逐步进行编辑，以维护身份和背景等其他信息，并避免不必要的修改干扰，使该方法实现了正确的人脸属性编辑，并更好地保留了
→
PDF
4 years ago
Prev
Next