Oct, 2023
HiCL: 无监督句子嵌入的分层对比学习
HiCL: Hierarchical Contrastive Learning of Unsupervised Sentence
Embeddings
TL;DR本文提出了一种层次对比学习框架HiCL,它考虑了局部分段级和全局序列级关系以提高训练效率和效果。通过将序列分为几个分段,并应用局部和全局对比学习来建模分段级和序列级关系,HiCL提高了其效果。此外,考虑到输入标记上的transformers的二次时间复杂度,在获得序列表示之前,HiCL通过首先对短分段进行编码,然后将它们聚合起来来提高训练效率。大量实验证明,HiCL提升了之前表现最好的SNCSE模型在七种广泛评估的STS任务上的性能,BERT-large平均提升了+0.2%,RoBERTa-large提升了+0.44%。