Mar, 2023

ESCL: 句子表示的等变自对比学习

PDF
TL;DR本文提出了一种称为 ESCL 的方法，该方法通过等变学习任务鼓励学习到的表示对某些类型的转换敏感，从而利用敏感的变换，以改善语义文本相似度任务的对比学习，并且通过在多任务学习的角度上共享模型参数来简化算法实现。最终的结果表明，该方法与以前的方法相比在使用更少的学习参数的情况下可以获得更好的结果。
contrastive learningsentence representationsequivariant self-contrastive learningsemantic textual similaritymulti-task learning
发现论文，激发创造
  • 通过等变表示的对比学习

    提出了一种新的基于等变性的对比学习（ECL）框架 CLeVER，兼容各种主流对比学习方法和模型框架的任意复杂的增强策略，并通过从数据中提取和整合等变信息，提高了基线模型在后续任务中的训练效率和鲁棒性。

    Jun, 2024

  • 对比自监督学习中的文本转换方法综述

    本综述论文探讨了如何在自监督学习中使用对比学习方法来改善文本表示学习，并介绍了现有方法的优缺点和局限性。

    Mar, 2022

  • 减轻非监督句子表示中的过度平滑

    本文介绍一种名为自对比学习（SSCL）的简单方法，用于学习无监督的句子表示，并基于该方法构建一个插入式对比框架，从而提高性能，并在语义文本相似度和转移数据集上超越了不同强大基线（如 BERT 和 SimCSE）。

    May, 2023

  • 面向会话推荐的自对比学习

    本研究提出自我对比学习算法，并将其应用于会话推荐问题中，以优化物品表示空间的均匀度和减少模型复杂度，进而实现比之前的算法更好的预测性能。研究证明，该算法不需要额外的采样和数据增强操作，并在三个基准数据集上得到了统计上显著的性能提升。

    Jun, 2023

  • 时间序列预测中构成良好对比学习的因素是什么？

    本文通过系统分析不同的自监督对比学习策略及变量间的相互作用，发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法，并可优化预测结果的准确性。

    Jun, 2023

  • 预训练句子嵌入的相互强化框架

    本研究基于自监督对比学习方法，提出了一种名为 InfoCSE 的新型框架，用于解决手工数据注释不可靠的问题，通过迭代的自我监督和数据标注反馈，实现了句子表示模型和数据注释方法的相互协作，有效提高了自监督学习的效果。实验证明，该方法在三个基准数据集上取得了显著的改善。

    Feb, 2022

  • SSLCL: 一个高效的模型无关的自监督对比学习框架，用于对话情感识别

    利用监督对比学习的高效模型无关框架 SSLCL，通过将离散标签转化为密集嵌入，同时最大化样本特征与其对应的真实标签嵌入的相似性，并最小化样本特征与不同类别标签嵌入的相似性，从而实现在情感识别任务中提高性能的目标。

    Oct, 2023

  • 基于自监督学习的非对比句子表示

    通过比较对比句子嵌入方法中的标准基准 SimCSE 与计算机视觉社区中被称为维度对比的自监督损失函数和方法，我们发现使用维度对比目标训练的自监督嵌入能够在下游任务中胜过 SimCSE 而无需辅助损失函数。

    Oct, 2023

  • 基于大型语言模型的语义感知对照句子表示学习

    通过利用大型语言模型的生成和评估能力，我们提出了 SemCSR，一种语义感知的对比句子表示框架，可以自动构建高质量的 NLI 风格语料库，并将生成的句子对纳入对比句子表示模型的学习，实验证明了我们提出的框架在使用大型语言模型学习更好的句子表示方面的有效性。

    Oct, 2023

  • CLEAR: 句子表示的对比学习

    本研究提出了 CLEAR 方法，利用多种句子级别数据增强策略来学习一种噪声不变的句子表示。通过多个实验发现数据增强的不同方法会在下游任务中带来不同的性能提升，并且本方法在 SentEval 和 GLUE 基准测试中的表现优于多种现有方法。

    Dec, 2020