EMNLPOct, 2021
HETFORMER:用于长文本抽取式摘要的稀疏注意力异构 Transformer
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization
Ye Liu, Jian-Guo Zhang, Yao Wan, Congying Xia, Lifang He...
TL;DR本文提出了一种基于 Transformer 的预训练模型,通过多粒度稀疏注意力机制,从长文本中捕捉语义图结构并进行提取式摘要,实验证明 HETFORMER 在 Rouge F1 上具有最先进的性能,同时使用更少的内存和参数。