Mar, 2023
长文分类器中的无监督理性抽取:大海捞针
Finding the Needle in a Haystack: Unsupervised Rationale Extraction from Long Text Classifiers
Kamil Bujel, Andrew Caines, Helen Yannakoudakis, Marek Rei
TL;DR这篇论文针对长篇文本的语言模型,研究了其对 token-level 预测准确性的影响,提出了使用 RoBERTa 分析句子的组合式软注意力架构来提取 plausible rationales 的方法,并发现相比 Longformer 驱动的基准模型,提出的方法在情感分类数据集上表现更优,且运行时间更短。