miCSE: 低样本句子嵌入的互信息对比学习

Nov, 2022

miCSE: 低样本句子嵌入的互信息对比学习

miCSE: Mutual Information Contrastive Learning for Low-shot Sentence Embeddings

Tassilo Klein, Moin Nabi

TL;DR该论文介绍了基于信息熵的对比学习框架 miCSE，它在少样本学习的句子嵌入方面取得了显著进展，并对多个基准数据集优于其他现有方法，是一种简单易实现的自监督学习方法，将打开更为高效而强大的自监督学习方法以实现更好的句子嵌入。

Abstract

This paper presents micse, a mutual information-based contrastive learning framework that significantly advances the state-of-the-art in few-shot sentence embedding. The proposed approach imposes alignment betwee

micse few-shot learning contrastive learning self-supervised learning sentence embedding

发现论文，激发创造

SimCSE: 简单的对比学习句子嵌入

本文介绍了一种简单的对比学习框架 SimCSE，通过无监督和监督学习两种方法，显著提高了句子嵌入的性能，适用于语义文本相似性任务。

Apr, 2021

InfoCSE: 句子嵌入的信息聚合对比学习

本文提出了一种信息聚合的对比学习框架 InfoCSE 用于学习无监督的句子嵌入，该框架引入了一个额外的掩蔽语言模型任务和一个经过精心设计的网络来强制 [CLS] 位置的表示聚合更密集的句子信息，并在语义文本相似性（STS）任务上取得了超越 SimCSE 的表现，平均 Spearman 相关性增加了 2.60％（BERT-base）和 1.77％（BERT-large），成为无监督句子表示学习方法中的最新成果。

Oct, 2022

对比学习能够学习通用的跨语言句子嵌入

本文提出了 mSimCSE，在英文数据上进行对比学习，不需要平行数据，可以学习高质量的通用跨语种句子嵌入。在无监督和弱监督设置中，mSimCSE 在跨语种检索和多语 STS 任务上显著改进了先前的句子嵌入方法。在检索低资源语言和多语 STS 任务上，无监督的 mSimCSE 表现与完全监督的方法相当。当跨语言 NLI 数据可用时，性能可以进一步提高。

Nov, 2022

基于信息最小化的对比学习模型用于无监督句向量学习

利用信息最小化的对比学习模型 (InforMin-CL) 实现了无监督句子表示学习，通过最大化正实例之间的互信息并最小化其信息熵来保留有用信息和丢弃多余信息。实验结果表明，该模型在包括监督和无监督任务在内的十四个下游任务中取得了最先进的性能。

Sep, 2022

改进聚类句子嵌入的对比学习与焦点信息交叉熵

该研究提出了一个无监督对比学习框架，将 SimCSE 与难负样本挖掘相结合，旨在增强句子嵌入的质量。在各种 STS 基准测试上的实验表明，我们的方法在 Spearman 相关性和表示对齐性和一致性方面改进了句子嵌入。

Oct, 2023

MCSE: 句子嵌入的多模态对比学习

本文提出了一种基于多模态对比目标的句子嵌入学习方法，利用同时包含视觉和文本信息的数据提高了语义相似性任务的性能，并通过分析文本嵌入空间的性质解释了本方法提高性能的原因。

Apr, 2022

从零开始对句子嵌入进行对比学习

本研究提出了 SynCSE，通过利用大型语言模型合成数据样本，训练具有良好性能的句子嵌入，对比试验结果显示 SynCSE 在无监督基准模型的基础上具有更好的性能。

May, 2023

预训练句子嵌入的相互强化框架

本研究基于自监督对比学习方法，提出了一种名为 InfoCSE 的新型框架，用于解决手工数据注释不可靠的问题，通过迭代的自我监督和数据标注反馈，实现了句子表示模型和数据注释方法的相互协作，有效提高了自监督学习的效果。实验证明，该方法在三个基准数据集上取得了显著的改善。

Feb, 2022

DiffCSE：基于差异的对比学习用于句向量

本文介绍了 DiffCSE，一个无监督的对比学习框架，可以学习敏感于原始句子和编辑后句子之间差异的句子嵌入，通过朴素的掩码和掩码语言模型中的采样获得编辑后的句子，证明了 DiffSCE 是一种等变对比学习，并在语义文本相似性任务中取得了超越无监督 SimCSE 的最先进结果。

Apr, 2022

DialogueCSE: 基于对话的对比学习句向量表示

本文提出一种对话导向的对比学习方法，即 DialogueCSE，以解决利用对话学习句子嵌入时出现的评估训练差距。通过引入新的匹配引导嵌入机制，该方法生成了上下文感知嵌入，并通过对比损失来最小化每个上下文感知嵌入与其对应的上下文无关嵌入的差异。实验结果表明，在三个多回合对话数据集上，该方法在 MAP 和 Spearman 相关性指标方面优于基线表现，具有很高的效力。

Sep, 2021