Oct, 2021
HETFORMER:用于长文本抽取式摘要的稀疏注意力异构Transformer
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text
Extractive Summarization
TL;DR本文提出了一种基于Transformer的预训练模型,通过多粒度稀疏注意力机制,从长文本中捕捉语义图结构并进行提取式摘要,实验证明HETFORMER在Rouge F1上具有最先进的性能,同时使用更少的内存和参数。