抽象化摘要中的推理时间内容选择的注意力头掩蔽
该论文介绍了一种结合人机交互的流程来发现重要的任务特定的注意力模式,然后注入到原始模型和较小的模型来提高模型的准确性与效率,取得了在提取式摘要和主题分割方面显著提高的结果。
Dec, 2021
提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型,通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要,与目前最先进模型相比,在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分,并且人工评估表明我们的模型产生了更高质量的摘要。
May, 2017
该论文提出了一种基于序列到序列的文档摘要模型中的注意力机制改进方法,结合局部方差损失和全局方差损失分别从局部和全局方面增强注意力的监督,并在 CNN/Daily Mail 数据集上验证了其有效性。
Oct, 2019
本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷,使得模型可以更好的理解要点,同时引入课程学习的方法提高了训练速度和质量,并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性,同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。
Feb, 2023
本文研究了适用于抽象总结的多头自注意机制的可解释性,介绍了三个度量衡来评估关注头的重要性,发现相对位置的头对总结表现至关重要,不建议弃掉,而强制稀疏性似乎不能显着提高可解释性。
Nov, 2019
通过网络修剪的角度,研究了一种特征注入的注意头选择和操作策略,并在对话摘要中进行了案例研究,结果表明通过注意头操作注入指代关系信息可以提高对话摘要的性能。
Dec, 2023
通过分析 transformer 中 attention heads 的分布,我们探讨了并提出一种方法来评估 Transformer 模型特定 attention distributions 的依赖程度,从而讨论了使用注意分布作为可解释性手段的含义。在某些 attention heads 确实专门用于句法和语义不同的输入的基础上,我们提出了一种贡献方式,以提高其可解释性,这对于所有 NLP 任务是否有效等进行了讨论。
Jul, 2019