unsupervised sentence embeddings | BriefGPT

关键词unsupervised sentence embeddings

搜索结果 - 4

无监督句子嵌入的自适应对比学习重建
我们提出了一种自适应重建对比句子嵌入（SARCSE）框架，通过使用自动编码器对句子中的所有单词进行重建，帮助模型在聚合单词时保留更多细粒度的语义。实验结果表明，与强基准 SimCSE 相比，SARCSE 在 7 个 STS 任务中取得了显着
PDF4 months ago
AAAI无监督句子嵌入的实例平滑对比学习
本文提出了 IS-CSE 方法用于平滑特征空间中的嵌入，实现句子嵌入的无监督学习，进而在标准的语义文本相似度（STS）任务中取得更好的结果。
PDFa year ago
EMNLPInfoCSE: 句子嵌入的信息聚合对比学习
本文提出了一种信息聚合的对比学习框架 InfoCSE 用于学习无监督的句子嵌入，该框架引入了一个额外的掩蔽语言模型任务和一个经过精心设计的网络来强制 [CLS] 位置的表示聚合更密集的句子信息，并在语义文本相似性（STS）任务上取得了超越
PDF2 years ago
WhiteningBERT：一种简单的无监督句子嵌入方法
本研究对四种预训练模型进行了大量实验研究，并得出三个主要发现：平均所有令牌比仅使用 [CLS] 向量更好；同时使用顶部和底部层优于仅使用顶部层；基于简单白化的向量标准化策略能够成倍提高性能。
PDF3 years ago