ACLFeb, 2022

探究对比学习中负样本对句子嵌入影响的案例研究

PDF
TL;DR本文提出了一种 Momentum 对比学习模型（MoCoSE），用于为句子嵌入提供正负样本，验证了负样本队列的历史信息对模型性能的影响，结果表明历史信息处于某个特定范围时，模型性能最佳。在语义文本相似度（STS）任务中测试，取得平均 Spearman‘s 相关系数为 77.27% 的结果。
contrastive learningnegative sample queuemomentum contrastive learningsentence embeddinghistorical information
发现论文，激发创造
  • SNCSE: 无监督句子嵌入的对比学习与软负样本

    本文通过引入软负样本和双向边缘损失来改善当前无监督对比学习中的特征抑制问题，在语义文本相似度任务上取得了最优结果。

    Jan, 2022

  • 对抗性对比估计

    本文提出了一种对比学习的方法，将负采样器增强为包含一个对抗性学习的混合分布，从而找到更难的负样本，这迫使主模型更好地学习数据的表示，通过在学习词嵌入、序列嵌入和知识图谱嵌入等方面进行评估，观察到了更快的收敛速度和更好的结果。

    May, 2018

  • 改进聚类句子嵌入的对比学习与焦点信息交叉熵

    该研究提出了一个无监督对比学习框架，将 SimCSE 与难负样本挖掘相结合，旨在增强句子嵌入的质量。在各种 STS 基准测试上的实验表明，我们的方法在 Spearman 相关性和表示对齐性和一致性方面改进了句子嵌入。

    Oct, 2023

  • 利用增强的案例正例和检索负例改进句子嵌入的对比学习

    本文提出了一种新的文本对比学习方法 ——CARDS，改进了正负样本的质量问题，提出了一种 switch-case augmentation 方式来对抗预训练模型对频率、词形大小写和子词的内在偏态，同时从整个数据集中使用已预训练的语言模型来挖掘难负样本，结果表明该方法在无监督环境下显著优于现有的方法。

    Jun, 2022

  • KDMCSE: 知识蒸馏多模态句子嵌入与自适应角度边界对比学习

    本研究提出了 KDMCSE，一种基于知识蒸馏的多模态对比学习方法，通过利用教师模型的知识来增强多模态表示的区分性和泛化能力，有效地检测和消除有噪声和错误的负样本，同时引入了 AdapACSE，一种新的自适应角度间隔有监督对比学习方法，增强了在角度空间中的边界，捕捉了负样本中不同的语义变化。在广泛使用的语义文本相似性基准测试中，实验证明了我们方法的有效性。

    Mar, 2024

  • DebCSE：从去偏见的角度重新思考无监督对比句嵌入学习

    本文研究了对比学习中存在的偏见问题，提出了一种名为 DebCSE 的新型对比框架，通过逆倾向加权抽样方法选择高质量的正负样本对，以消除各种偏见的影响，从而提高句子嵌入的质量。在语义文本相似性基准测试中，DebCSE 的平均 Spearman 相关系数为 80.33%，显著优于最新的最先进模型。

    Sep, 2023

  • 条件负采样用于视觉表征对比学习

    本文中介绍了一种新的图像对比学习方法，该方法采用有条件的负采样策略来优化互信息估计，与传统的噪声对比估计相比，该方法在多个标准数据集上都获得了 2-5% 的准确度提升，并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。

    Oct, 2020

  • 从零开始对句子嵌入进行对比学习

    本研究提出了 SynCSE，通过利用大型语言模型合成数据样本，训练具有良好性能的句子嵌入，对比试验结果显示 SynCSE 在无监督基准模型的基础上具有更好的性能。

    May, 2023

  • 利用引用嵌入的邻域对比学习科学文献表征

    本文提出了一种通过对比学习来改善科学文档表示的方法 —— 使用引文图嵌入进行所控制的最近邻抽样来学习连续的相似度，内容主要涉及对比学习、科学文档表示、引文图嵌入、相似度语义以及相关研究。

    Feb, 2022

  • 针对聚类感知的无监督句子表示负采样

    本文提出了 ClusterNS 这一新的对比学习方法，将聚类信息引入负样本选择，同时使用改进的 K 均值聚类算法提供难负样本和识别批内的假负样本，以解决这一问题。实验表明我们的方法在无监督句子表示学习方面的性能优于基线模型，在语义文本相似度任务上表现出色。

    May, 2023