AAAIJan, 2024

DenoSent: 自监督句子表示学习的去噪目标

PDF
TL;DR通过引入离散和连续噪声，我们提出了一种新的去噪目标，通过训练模型将噪声句子恢复为其原始形式，从而在语义文本相似性和广泛的迁移任务中实现了有竞争力的结果。
contrastive-learning-based methodssentence representation learningfine-grained semanticsdenoising objectivetransfer tasks
发现论文，激发创造
  • 使用生成式目标进行语句表示学习，而非对比式目标

    本文提出了一种基于短语重构的生成式自监督学习目标，从而在获得上下文化标记级别表示的同时，有效获取句子级别表示，在句子结构的建模上进行了精细的设计，实验结果表明，该方法在语义检索和重排序任务上超越当前最先进的对比方法。

    Oct, 2022

  • 生成还是对比？短语重构用于优化句子表示学习

    通过短语重构提出一种新的生成式自监督学习方法，其产生的句子表示在句子文本相似性方面表现与对比式方法相当。

    Apr, 2022

  • 基于话语的目标实现快速无监督句子表示学习

    该研究针对神经网络句子编码器的无监督训练提出了一种新的客观函数，通过利用段落级话语连贯性的信号训练这些模型以理解文本，该目标是纯判别式的，使我们能够比之前的方法更快地训练模型，并且产生在外部评估中表现良好的模型。

    Apr, 2017

  • 利用去噪自编码器进行无监督的句子压缩

    本研究通过加入噪声的方式进行了一个摘要任务来训练去噪自编码器从而实现了在不需要配对的语料库的情况下进行句子压缩。使用标准文本摘要数据集的人类评估表明，我们的模型与基于监督学习的语法正确性和意义保留基准相当，不需要目标数据，我们的无监督模型已经学会生成不完美但合理可读的句子摘要。

    Sep, 2018

  • 减轻非监督句子表示中的过度平滑

    本文介绍一种名为自对比学习（SSCL）的简单方法，用于学习无监督的句子表示，并基于该方法构建一个插入式对比框架，从而提高性能，并在语义文本相似度和转移数据集上超越了不同强大基线（如 BERT 和 SimCSE）。

    May, 2023

  • 无监督句子表示的去偏置对比学习

    该研究提出了一种名为 DCLR 的新框架，使用实例加权的方法惩罚误判造成的假负样本，并产生基于噪声的负样本，以确保表示空间的均匀性，提高自监督学习中的句子表示质量，并在七个语义文本相似性任务中实现了显著性能提升。

    May, 2022

  • 自我引导的对比学习方法用于 BERT 句子表示

    本文提出使用对比学习的方法，通过自我指导来改善 BERT 的句子表示质量，并将其应用于句子表示学习中。实验证明，与竞争对手的基线相比，我们的方法在广泛的句子相关任务上更加有效，并且在推理时效率高且鲁棒性强。

    Jun, 2021

  • 基于自监督学习的非对比句子表示

    通过比较对比句子嵌入方法中的标准基准 SimCSE 与计算机视觉社区中被称为维度对比的自监督损失函数和方法，我们发现使用维度对比目标训练的自监督嵌入能够在下游任务中胜过 SimCSE 而无需辅助损失函数。

    Oct, 2023

  • CLEAR: 句子表示的对比学习

    本研究提出了 CLEAR 方法，利用多种句子级别数据增强策略来学习一种噪声不变的句子表示。通过多个实验发现数据增强的不同方法会在下游任务中带来不同的性能提升，并且本方法在 SentEval 和 GLUE 基准测试中的表现优于多种现有方法。

    Dec, 2020

  • Self2Self+: 自监督学习与图像质量评估损失的单图像降噪

    利用单一图像进行自监督学习的提出方法利用门控卷积进行特征提取及无参考图像质量评估引导训练过程，采用伯努利采样从输入图像数据集中选择样本进行训练，并通过平均来自训练网络具有中断的各个实例的生成预测来产生相应结果，实验结果表明所提出的方法在合成和真实世界数据集上实现了最先进的去噪性能，突显了该方法作为各种噪声去除任务的有效性和实用性。

    Jul, 2023