BriefGPT.xyz
Ask
alpha
关键词
hierarchical encoding
搜索结果 - 4
高分辨率时间序列分类的高效注意力克罗内克分解
通过基于交互范围将长时间序列分层编码为多个级别，并引入克罗内克分解注意力处理这种多级时间序列，我们提出了一种新的时间序列变换器骨干（KronTime），它从下一级顺序计算注意力。通过针对四个长时间序列数据集的实验证明，与基准方法相比，我们的
→
PDF
4 months ago
Z-Code++：用于抽象文摘优化的预训练语言模型
本文介绍了一种新的经过预训练的语言模型 Z-Code++, 通过使用三个技术，即两阶段预训练过程，将编码器中的自注意力层替换为解耦注意层以及在编码器中使用融合编码方法，创造了新的最先进的基于文本摘要任务的模型，它在五种语言的 13 个文本摘
→
PDF
2 years ago
通过同步实现长序列高效编码
本研究提出一种基于同步机制的层次编码方法，将长的输入序列分段处理并在 Transformer 层内利用自注意力机制对锚点嵌入进行同步，从而改善了不同类型长输入文本数据的全局信息交流。
PDF
2 years ago
ACL
多文档摘要的分层 Transformer
本文提出了一种神经网络归纳模型，能够有效地处理多个输入文档，并利用 Transformers 架构对文档进行层次编码，通过注意力机制来表示跨文档之间的关系，并学习文本单元之间的潜在依赖关系，在 Wikisum 数据集上的实验证明，所提出的架
→
PDF
5 years ago
Prev
Next