Aug, 2023

语言 Transformer 中的解码器层显著性解读

TL;DR我们介绍了一种在应用于分类任务的大规模语言模型中识别文本显著性的策略。我们采用了渐变基础的显著性方法,并提出了一种评估每一层语义一致性程度的方法,在多个基准分类数据集上展示了相对于其他方法的一致性改进。我们的方法不需要额外的训练或标记数据,并且在计算效率上具有相对优势。