ACLMay, 2023
通过自对比 Bregman 散度学习高效文档嵌入
Efficient Document Embeddings via Self-Contrastive Bregman Divergence Learning
Daniel Saggau, Mina Rezaei, Bernd Bisch, Ilias Chalkidis
TL;DR本文提出了一种基于 Longfomer 的文档编码器,使用最新的无监督对比学习方法 SimCSE 进行训练,结合基于函数 Bregman 散度的凸神经网络以提高输出文档表示的质量,实验证明该方法在法律和生物医学领域的三个长文档主题分类任务中优于基线模型。