sparse attention | BriefGPT

关键词sparse attention

搜索结果 - 32

EMNLP重新审视基于 Transformer 的长文档分类模型
本研究使用稀疏注意力机制和分层变换器方法，对基于 Transformers 的长文本分类进行比较，探讨了四个文本分类数据集，并得出了实际应用此方法的实用建议。
PDF2 years ago
KDD基于 EDU 层面注意力的方面情感分析
该论文提出了一种基于 EDU 边界的句子建模方法，旨在克服句子同时表达多个方面情感极性的问题。该模型通过在单词和 EDU 级别上进行稀疏注意力，突出表达情感的单词，并使用 EDU 级别稀疏注意力和正交正则化来确保模型在适当的 EDU 上关注
PDF2 years ago
KDDYformer: 基于 U-Net 的 Transformer 架构用于远视时间序列预测
该论文提出了一种基于 Y-shaped 编码器 - 解码器结构的 Yformer 模型，结合稀疏注意力和下采样上采样过程，通过在四个基准数据集上进行的实验结果显示，该模型相比当前最先进的模型在一元和多元场景下的平均改进率分别为 19.82％
PDF3 years ago
EMNLPSPECTRA: 稀疏结构文本理性化
本文提出了一种基于因子图的确定性解释提取框架，用于简化训练、规范化解释提取，并与随机方法进行了比较，证明了其在分类和自然语言推断任务中优化了性能和解释质量。
PDF3 years ago
AAAIDialogLM: 面向长对话理解和摘要的预训练模型
本文提出了一种用于长对话理解和摘要的预训练框架，其中包括以窗口为基础的去噪方法和稀疏注意力机制，并通过实验表明 DialogLM 预训练模型显著优于现有的模型。
PDF3 years ago
ACL稀疏注意力是否更易解释？
本文探讨了如何使用稀疏注意力来解释模型，我们设计了一系列的实验来研究稀疏性对于注意力解释能力的影响。通过针对三个文本分类任务的实验证明了，在稀疏和非稀疏的注意力下，输入和协同中间表示之间存在一种微弱的关系。此外，本文发现稀疏的注意力分布无法
PDF3 years ago
EMNLP稀疏注意力与线性单元
本研究介绍了一种名为 ReLA 的新型的、可实现稀疏注意的模型，该模型采用 ReLU 激活函数来代替 softmax 函数，通过额外的门控函数或专门的初始化实现了训练稳定性。实验结果表明，ReLA 模型在机器翻译任务中表现良好，且实现效率高
PDF3 years ago
ACL长格式问答进展的障碍
该论文探讨了长篇问答任务中关于评估和数据集构建所面临的挑战，在提出新模型的同时指出该任务中 ROUGE-L 评估不具信息性，且训练集和验证集存在显著重复。给出了缓解这些问题的建议。
PDF3 years ago
ACL基于内容的稀疏注意力路由转换网络
本研究提出了 Routing Transformer，它结合了疏密注意力和本地、时间疏松注意力的建模灵活性和效率。该模型具有基于在线 K 均值的稀疏路由模块，将注意力的总体复杂度从 $O (n^2d)$ 降至 $O (n^{1.5} d)$
PDF4 years ago
Explicit Sparse Transformer: 明确稀疏转换器 —— 通过明确选择实现集中注意力
提出了一种名为显式稀疏 Transformer 的新模型，其通过选择最相关的片段来改进全局上下文的注意力集中度，展示了在自然语言处理和计算机视觉任务方面的优越表现，并实现了与稀疏注意力方法可比或更好的结果，但显著减少了训练和测试时间。
PDF5 years ago
ACL上下文感知的选择性关注神经机器翻译
提出了基于上下文感知 NMT 的层次化注意力机制来处理整个文档的翻译，并使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中，通过在英德数据集上
PDF5 years ago
ACL一个可解释的知识迁移模型用于知识库完成
本研究提出了一种新的嵌入模型 ITransF，它通过稀疏注意机制来完成知识库的补全，并在两个基准数据集（WN18 和 FB15k）上进行了评估，相对于没有使用额外信息的所有基线，ITransF 在知识库补全任务上都显示出了更好的性能。
PDF7 years ago