Apr, 2017

基于话语的目标实现快速无监督句子表示学习

PDF
TL;DR该研究针对神经网络句子编码器的无监督训练提出了一种新的客观函数，通过利用段落级话语连贯性的信号训练这些模型以理解文本，该目标是纯判别式的，使我们能够比之前的方法更快地训练模型，并且产生在外部评估中表现良好的模型。
neural networkunsupervised trainingsentence encodersdiscourse coherenceextrinsic evaluations
发现论文，激发创造
  • 使用生成式目标进行语句表示学习，而非对比式目标

    本文提出了一种基于短语重构的生成式自监督学习目标，从而在获得上下文化标记级别表示的同时，有效获取句子级别表示，在句子结构的建模上进行了精细的设计，实验结果表明，该方法在语义检索和重排序任务上超越当前最先进的对比方法。

    Oct, 2022

  • 对比度句子目标预训练提高语言模型的话语表现力

    CONPONO 提供了一种跨句子的目标预训练语言模型，该模型在表示学习中模拟语篇连贯性和句子之间的距离， 并在 DiscoEval 基准测试中取得了 13％的改进。

    May, 2020

  • DenoSent: 自监督句子表示学习的去噪目标

    通过引入离散和连续噪声，我们提出了一种新的去噪目标，通过训练模型将噪声句子恢复为其原始形式，从而在语义文本相似性和广泛的迁移任务中实现了有竞争力的结果。

    Jan, 2024

  • 语篇感知句子表示的评估基准和学习标准

    本文提出 DiscoEval 测试套件，以评估句子表示是否包含更广泛的上下文信息，并使用来自维基百科的自然注释构建能够建模语篇的句子编码器的各种训练目标。在 DiscoEval 和其他句子评估任务上对经过预训练的句子编码器进行了基准测试，并表明这些训练目标有助于在文档结构中编码不同的信息方面。此外，BERT 和 ELMo 表现出良好的性能，并显示出不同特性的单个隐藏层。

    Aug, 2019

  • 一项关于学习和改进无监督释义搜索目标的实证研究

    本文研究无监督文本生成技术中的优化问题，提出利用学习模型平滑启发式搜索目标函数中的噪声以及与原始目标函数相结合来指导搜索，实验表明，这种方法可以略微提高搜索性能。

    Mar, 2022

  • 学习句子表示的高效框架

    本文提出一种从未标记数据中学习句子表示的简单有效的框架，通过将句子出现的上下文预测问题重新表述为分类问题，并基于句子向量表示来区分上下文句子和对比句子，并在多个下游 NLP 任务中展示了高质量的句子表示的超越性能以及训练时间的数量级加速。

    Mar, 2018

  • 通过大规模多任务学习学习通用分布式句子表示

    本论文探讨了利用多个训练目标来学习句子表示的多任务学习框架，提出了一种有效实现的方法，通过多项实验得出该方法可以在转移学习和低资源环境中大幅度提高语言处理的效率。

    Mar, 2018

  • 基于词级抽取的无监督句子摘要的离散优化

    该研究提出了一种无监督的自动句子摘要方法，通过语言建模和语义相似度指标来优化摘要质量，从而在 ROUGE 分数方面达到了新的最高水平，同时强调未来的评估应该按输出长度分组。

    May, 2020

  • SLM：使用句子重排学习语篇语言表示

    通过自我监督的方式，我们提出了句子级别的语言建模作为新的预训练目标，通过打乱输入句子的顺序训练用于重构原始顺序的分层 transformer 模型以鼓励中型结构的学习，进而提高原 BERT 模型的性能。

    Oct, 2020

  • DeCLUTR: 无监督文本表示的深度对比学习

    本文介绍 DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations，是一种无监督的学习通用语句嵌入的方法，其优于仅仅使用大规模数据集。该方法扩展了基于 Transformer 的语言模型的预训练，可以在大量的未标注培训数据下达到可监管培训的质量水平，这个解决方案可以应用于没有标注数据的语言和领域。该研究的代码和预训练模型是公开的，可以轻松地适应新的领域或用于嵌入以前不见过的文本。

    Jun, 2020