sparse transformers | BriefGPT

关键词sparse transformers

搜索结果 - 4

场景自适应稀疏 Transformer 用于事件驱动的目标检测
为了克服传统 Transformer 方法在事件相机物体检测任务中的高计算成本问题，本研究提出了一种适应场景的稀疏 Transformer 模型，通过优化计算效率和性能表现，实现了对重要物体的集中关注和动态稀疏程度的优化，从而在性能和效率上
PDF3 months ago
EMNLP分解彩票网络变形器：稀疏神经机器翻译的结构和行为研究
利用稀疏 Transformer 进行神经机器翻译可以保证 BLEU 分数，但通过剪枝会影响模型的学习表征，随着剪枝过程中低振幅权重的削减，语义信息的复杂性首先降低，同时在保持注意力机制的一致性的情况下，稀疏模型的早期层开始了更多的编码。
PDF4 years ago
$O (n)$ 连接已足够表达力：稀疏 Transformer 的通用逼近性
本研究提出一种稀释注意力机制，以解决 Transformer 网络在输入序列长度较长时的计算成本过高的问题，并证明其能够普遍逼近任何序列到序列的函数，而且具有比稠密模型更低的复杂度，最后通过实验结果验证该机制的有效性在自然语言处理任务中。
PDF4 years ago
稀疏 Sinkhorn 注意力
本文提出了稀疏 Sinkhorn 注意力机制，可以通过一种新的可微分排序方法来学习生成序列的置换，并用其计算局部窗口内的准全局注意力来提高注意力模块的存储效率，同时提出了新颖的算法创新，其中包括 Causal Sinkhorn 平衡和 So
PDF4 years ago