Sep, 2023

利用多语言正例在对比学习中提升句子嵌入

PDF
TL;DR本研究旨在通过多个正样本有效利用多语言句子嵌入来改善学习效果，并证实相比传统对比学习，多个正样本可提高句子嵌入在检索、语义相似性和分类任务上的性能，并在未知语言上表现出更好的跨语言迁移性能。
multi-lingual sentence embeddingscontrastive learningmultiple positivescross-lingual learningtransitive similarity
发现论文，激发创造
  • PCL: 多样增强的同行对比学习用于无监督句子嵌入

    本文提出了一种多增强策略下的同伴对照学习（PCL），以构造对比配对并构建无监督的句子嵌入，其表现优于其他与之竞争的句子嵌入方法。

    Jan, 2022

  • 通过软对比学习改善多语言对齐

    提出新的方法来对齐多语种嵌入，基于单语种嵌入模型中句子的相似性测量；实验证明我们的方法在多语种数据集上表现出色，优于现有的多语种嵌入方法和对比损失方法。

    May, 2024

  • 通过人工智能反馈提高对比学习句子嵌入

    CLAIF 方法：利用大型预训练语言模型的人工智能反馈来构建有细粒度样本相似度得分的样本对以改善对比学习，并结合人工反馈和 AI 反馈提供更好的训练信号，实验结果显示在语义文本相似性和迁移学习任务上，与其他半监督和监督对比学习方法比较，CLAIF 实现了最先进的性能。

    May, 2023

  • MCSE: 句子嵌入的多模态对比学习

    本文提出了一种基于多模态对比目标的句子嵌入学习方法，利用同时包含视觉和文本信息的数据提高了语义相似性任务的性能，并通过分析文本嵌入空间的性质解释了本方法提高性能的原因。

    Apr, 2022

  • 跨语言对齐的多层对比学习

    本文提出了一种多级对比学习（ML-CTL）框架，使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，以进一步提高预训练模型的跨语言能力。其中，采用了交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差的影响。该方法显著提高了基础模型（mBERT）的跨语言迁移能力，并在 Xtreme 基准测试的多个零 - shot 跨语言下游任务中表现优异。

    Feb, 2022

  • 探究对比学习中负样本对句子嵌入影响的案例研究

    本文提出了一种 Momentum 对比学习模型（MoCoSE），用于为句子嵌入提供正负样本，验证了负样本队列的历史信息对模型性能的影响，结果表明历史信息处于某个特定范围时，模型性能最佳。在语义文本相似度（STS）任务中测试，取得平均 Spearman‘s 相关系数为 77.27% 的结果。

    Feb, 2022

  • 对比学习能够学习通用的跨语言句子嵌入

    本文提出了 mSimCSE，在英文数据上进行对比学习，不需要平行数据，可以学习高质量的通用跨语种句子嵌入。在无监督和弱监督设置中，mSimCSE 在跨语种检索和多语 STS 任务上显著改进了先前的句子嵌入方法。在检索低资源语言和多语 STS 任务上，无监督的 mSimCSE 表现与完全监督的方法相当。当跨语言 NLI 数据可用时，性能可以进一步提高。

    Nov, 2022

  • 标签锚定对比学习用于语言理解

    本文提出一种基于标签锚定的对比学习方法（LaCon），用于自然语言理解分类任务中，不需要专门的网络架构或任何额外的数据增强，可轻松插入现有的强大预训练语言模型，相比于现有最先进技术，LaCon 在 GLUE 和 CLUE 基准测试数据集上有高达 4.1% 的提升，同时在少量样本和数据失衡的情况下也展现出显著的优势，获取了 FewGLUE 和 FewCLUE 基准测试任务高达 9.4% 的提升。

    Apr, 2022

  • 多模态对比学习的泛化性

    本文通过建立多模态对称矩阵分解和对称矩阵分解的内在联系，证明了多模态对比学习在图像下游任务中的泛化保证，并通过统一模型表明多模态对比学习隐含地通过文本对生成了伪正对，从而具有更多的语义一致和多样性正对，可显著提高基于自我监督的对比学习在图像分类中的性能。

    Jun, 2023

  • 无监督上下文感知句子表示预训练在多语言密集检索中的应用

    本文介绍了一种简单有效的单语言预训练任务 —— 对比上下文预测 (contrastive context prediction, CCP)，通过学习建模句子级上下文关系来学习句子表示，从而使句子配对对齐，并使用语言特定的存储器库和非对称批标准化操作来防止模型崩溃和信息泄漏，在不使用双语数据的情况下，在多语言检索任务 Tatoeba 上实现了新的最佳结果，在跨语言查询 - 段落检索任务 XOR Retrieve 和 Mr.TYDI 中，该模型在所有使用双语数据的预训练模型中在零样本和监督设置 (both zero-shot and supervised setting) 中都取得了两个最新成果。

    Jun, 2022