sparse dropout | BriefGPT - AI 论文速递

关键词sparse dropout

搜索结果 - 1

ACL学习多模态表示的自适应 Transformer
研究 transformers 中的注意机制对视觉和语言任务的扩展，并发展适应性方法来提高模型的可解释性和计算效率。具体地，研究注意范围、稀疏和结构化 dropout 等方法，以帮助了解模型对输入序列的复杂性感知和对不同模态的稀疏性偏好。
PDF4 years ago