Dec, 2023
大规模标签多标签文本分类的准确置信度度量
Well-calibrated Confidence Measures for Multi-label Text Classification with a Large Number of Labels
Lysimachos Maltoudoglou, Andreas Paisios, Ladislav Lenc, Jiří Martínek, Pavel Král...
TL;DR我们扩展了我们之前关于归纳一致性预测（ICP）在多标签文本分类方面的工作，并提出了一种新的方法来解决处理大量唯一标签时，Label Powerset (LP) ICP 的计算效率低下的问题。我们在两个英语和一个捷克语数据集上使用原始的和提出的高效 LP-ICP 进行实验。具体而言，我们将 LP-ICP 应用于两种类型的三个深度人工神经网络（ANN）分类器：一个基于上下文环境的（bert），两个基于非上下文环境的（word2vec）词嵌入。在 LP-ICP 的设置中，我们为标签集分配了非一致性得分，从而确定相应的 p 值和预测集。我们的方法通过消除计算负担较大的标签集，这些标签集肯定会有低于指定显著性水平的 p 值，从而大大减小了方法的计算复杂度，同时完全尊重标准 CP 的保证。我们的实验结果表明，基于上下文环境的分类器胜过非上下文环境的分类器，并且在所有考察的数据集上获得了最先进的性能。底层分类器的良好性能传递到它们的 ICP 对应物上，而没有任何显著的精度损失，但具有 ICP 的附加优势，即预测集中蕴含的置信信息。我们通过实验证明，即使所有可能的标签集合中包含超过 $1e+16$ 个组合，所得到的预测集合也可以足够紧凑以实际使用。此外，所得到的预测集合的经验误差率证实了我们的输出的良好校准性。