Jan, 2023

检测分类和主题嵌入以获取分类信息

TL;DR本文旨在了解嵌入式中如何结构性地编码分类信息,通过设计新的上位词 - 下位词探查任务并进行探查研究,我们发现分类嵌入式和主题嵌入式都会编码一些分类信息,但编码的数量和几何特性都独立于编码器架构和嵌入式训练数据。尤其是,我们发现只有分类式嵌入与数据中的底层分布相关,才能携带分类信息。