EMNLPOct, 2022

使用生成式目标进行语句表示学习，而非对比式目标

PDF
TL;DR本文提出了一种基于短语重构的生成式自监督学习目标，从而在获得上下文化标记级别表示的同时，有效获取句子级别表示，在句子结构的建模上进行了精细的设计，实验结果表明，该方法在语义检索和重排序任务上超越当前最先进的对比方法。
pre-trained language modelsself-supervised learningphrase reconstructionsemantic retrievalgenerative learning
发现论文，激发创造
  • 生成还是对比？短语重构用于优化句子表示学习

    通过短语重构提出一种新的生成式自监督学习方法，其产生的句子表示在句子文本相似性方面表现与对比式方法相当。

    Apr, 2022

  • DenoSent: 自监督句子表示学习的去噪目标

    通过引入离散和连续噪声，我们提出了一种新的去噪目标，通过训练模型将噪声句子恢复为其原始形式，从而在语义文本相似性和广泛的迁移任务中实现了有竞争力的结果。

    Jan, 2024

  • 像素句子表示学习

    通过视觉表征学习方法及无监督学习，我们提出了一种对文本进行语义学习的框架，借鉴认知科学和语言学的概念，利用错别字和词序混排等方法进行文本扰动，实现对文本的连续感知，并通过大规模无监督主题对齐训练和自然语言推理监督，达到与现有自然语言处理方法相当的语义文本相似度性能，展示了方法的跨语言迁移能力和语言迭代训练中的独特突破模式。

    Feb, 2024

  • 通过大规模多任务学习学习通用分布式句子表示

    本论文探讨了利用多个训练目标来学习句子表示的多任务学习框架，提出了一种有效实现的方法，通过多项实验得出该方法可以在转移学习和低资源环境中大幅度提高语言处理的效率。

    Mar, 2018

  • 自我引导的对比学习方法用于 BERT 句子表示

    本文提出使用对比学习的方法，通过自我指导来改善 BERT 的句子表示质量，并将其应用于句子表示学习中。实验证明，与竞争对手的基线相比，我们的方法在广泛的句子相关任务上更加有效，并且在推理时效率高且鲁棒性强。

    Jun, 2021

  • 联合学习标记句子和单词

    该研究探讨了不同颗粒度的目标如何用于学习更好的语言表示，并提出了一种架构来联合学习标记句子和标记令牌，最终通过注意力机制将每个级别的预测组合，其中令牌级别的标签也作为显式监督来合成句子级别的表示，实验结果表明，通过在多个级别上联合执行这些任务，模型在句子分类和序列标记方面都取得了实质性的改进。

    Nov, 2018

  • 表达任务相关句子表示的学习

    通过增加一个新的目标，明确指出输入中的标签符号空间，并通过添加 [MASK] 符号来预测标签类别，以此来建立标签符号空间与句子符号空间之间的连接，并通过相邻表示的正则化来进一步指导传播，从而为有监督学习任务学习出表达丰富的句子表示，这样的模型能够在仅调整了冻结预训练模型的 5％的额外参数的情况下，实现可比的分类结果和强大的表达能力。

    May, 2022

  • 基于话语的目标实现快速无监督句子表示学习

    该研究针对神经网络句子编码器的无监督训练提出了一种新的客观函数，通过利用段落级话语连贯性的信号训练这些模型以理解文本，该目标是纯判别式的，使我们能够比之前的方法更快地训练模型，并且产生在外部评估中表现良好的模型。

    Apr, 2017

  • SLM：使用句子重排学习语篇语言表示

    通过自我监督的方式，我们提出了句子级别的语言建模作为新的预训练目标，通过打乱输入句子的顺序训练用于重构原始顺序的分层 transformer 模型以鼓励中型结构的学习，进而提高原 BERT 模型的性能。

    Oct, 2020

  • CLEAR: 句子表示的对比学习

    本研究提出了 CLEAR 方法，利用多种句子级别数据增强策略来学习一种噪声不变的句子表示。通过多个实验发现数据增强的不同方法会在下游任务中带来不同的性能提升，并且本方法在 SentEval 和 GLUE 基准测试中的表现优于多种现有方法。

    Dec, 2020