May, 2022

表达任务相关句子表示的学习

PDF
TL;DR通过增加一个新的目标，明确指出输入中的标签符号空间，并通过添加 [MASK] 符号来预测标签类别，以此来建立标签符号空间与句子符号空间之间的连接，并通过相邻表示的正则化来进一步指导传播，从而为有监督学习任务学习出表达丰富的句子表示，这样的模型能够在仅调整了冻结预训练模型的 5％的额外参数的情况下，实现可比的分类结果和强大的表达能力。
发现论文，激发创造
  • 使用生成式目标进行语句表示学习，而非对比式目标

    本文提出了一种基于短语重构的生成式自监督学习目标，从而在获得上下文化标记级别表示的同时，有效获取句子级别表示，在句子结构的建模上进行了精细的设计，实验结果表明，该方法在语义检索和重排序任务上超越当前最先进的对比方法。

    Oct, 2022

  • 联合学习标记句子和单词

    该研究探讨了不同颗粒度的目标如何用于学习更好的语言表示，并提出了一种架构来联合学习标记句子和标记令牌，最终通过注意力机制将每个级别的预测组合，其中令牌级别的标签也作为显式监督来合成句子级别的表示，实验结果表明，通过在多个级别上联合执行这些任务，模型在句子分类和序列标记方面都取得了实质性的改进。

    Nov, 2018

  • 通过大规模多任务学习学习通用分布式句子表示

    本论文探讨了利用多个训练目标来学习句子表示的多任务学习框架，提出了一种有效实现的方法，通过多项实验得出该方法可以在转移学习和低资源环境中大幅度提高语言处理的效率。

    Mar, 2018

  • 语言模型教给你的句法知识比翻译多：通过辅助任务分析所学到的教训

    该研究比较了四种不同的预训练目标（语言模型、翻译、跳跃思考和自编码）对模型学习语言信息和句法信息的影响，结果表明语言模型对于转移学习和需要句法信息的应用最为适合。

    Sep, 2018

  • Train No Evil: 面向任务导向的有选择掩码预训练

    本文提出了一种三阶段的预训练模型，通过加入任务引导的预训练阶段和选择性掩蔽来学习特定领域和任务模式，实验结果表明，该模型在情感分析任务中可以达到与更少计算成本相当甚至更好的性能。

    Apr, 2020

  • 自然语言多任务：分析和提高隐藏表示的句法显著性

    训练多任务自动编码器进行语言任务，分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示将显着改变。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子来探索表示空间的结构，得出很多有可识别句法结构的伪英语句子。最后，我们指出了模型的一个有意思的特性：两个句子之间的差分向量可以添加到第三个具有类似特征的句子中，以有意义的方式改变它。

    Jan, 2018

  • 使用选择性屏蔽作为预训练和微调之间的桥梁

    该研究提出了一种使用任务特定掩码的方法，通过修改预训练的 BERT 模型来适应下游任务。研究结果表明，这种选择性掩码策略优于随机掩码，具有较好的效果。

    Nov, 2022

  • 上下文表示的语言知识和可迁移性

    该论文研究了利用大规模神经语言模型生成的上下文词表示对于自然语言处理任务的有效性及其可迁移性。结果表明，虽然这些表示在许多任务中表现出色，但对于需要细粒度语言知识的任务（如连词识别）而言，它们还不能胜任。此外，作者还比较了不同预训练和监督预训练方法对于任务训练的影响。

    Mar, 2019

  • 一种多任务方法用于在句子表示中区分语法和语义

    本文提出一种基于神经网络的生成模型，使用两个潜变量来表征句子的句法和语义，并通过训练多个损失函数来实现更好的语义和句法表征的分离，将其应用于句子相似性任务中，并发现该模型的语义和句法表征性能均最优且最为分离。

    Apr, 2019

  • 不同注意力，同样表示：从多任务中共享句子表示学习

    本文提出了一种新的多任务学习的信息共享方案，通过注意力机制为所有任务共享相同的句子表示，使每个任务都能从中选择任务特定的信息，并在 16 个不同的文本分类任务上进行了实验，证明了该架构的优势。

    Apr, 2018