long document summarization | BriefGPT

关键词long document summarization

搜索结果 - 4

ACLRST-LoRA: 面向长文档抽象摘要的语篇感知低秩适应
本文引入 RST-LoRA，提出了四种 RST 感知的变体，明确将 RST 融入 LoRA 模型，评估结果表明，引入修辞关系的类型和不确定性可以有效增强 LoRA 在摘要任务中的性能，最佳性能的变体优于普通的 LoRA 和全参数微调模型，并
PDF2 months ago
长文档摘要的实证调查：数据集、模型和度量
本综述论文系统性地评估了长文档自动摘要各主要组成部分的研究进展，包括基准数据集、摘要模型和评估方法，并提出未来工作的方向。
PDF2 years ago
ACL长文档摘要的高效注意力机制
本文提出了 Hepos，一种新颖的有效的编码器 - 解码器关注机制，结合 Hepos，我们能够处理比使用全注意力的现有模型多 10 倍的令牌，有别于现有的高斯自注意机制。同时，我们还展示了新的包含非常长的文档和总结的数据集 GovRepor
PDF3 years ago
ACL可训练表示池化技术稀疏化 Transformer 模型
我们提出了一种新方法，通过学习在训练过程中选择最具信息量的令牌表示方法来稀疏 Transformer 模型中的注意力，从而关注输入的特定部分。由于一个强大的可训练的 top-k 操作符，将二次时间和内存复杂度降低到亚线性水平。我们在一个具有
PDF4 years ago