Jul, 2019

无条件语言模型能否复原任意句子？

PDF
TL;DR本文介绍了一组有效的互补方法，用于将表示馈送到预训练的无条件语言模型中，以及一组方法来映射句子到该表示空间中，并通过找到点的方式调查语言模型生成句子的可能性。我们发现，可以不修改任何模型参数，使用中等大小的表示和语言模型几乎完美地恢复任意句子。
neural networksgenerative modelslanguage modellingtext classificationrepresentation learning
发现论文，激发创造
  • 从连续空间生成句子

    本文介绍一种基于 RNN 和 VAE 的生成模型，该模型可以显式地模拟句子的整体特征，并通过分布式的潜在表示编码句子的风格、主题和高级语法特征。模型生成多样且完整的句子，能够插值生成连贯且新颖的句子，并用于填补缺失的词，同时探索了潜在句子空间的许多有趣属性。

    Nov, 2015

  • 超越语言建模的句子级预训练：你能告诉我如何通过芝麻街吗？

    本文首次对 19 个候选预训练任务进行了系统研究，比较了它们作为语言建模替代方案和互补方案的不同表现。研究结果支持使用语言建模，尤其是结合预先训练的其他标记数据任务。然而，研究结果混杂，显示出一些令人担忧的趋势，同时也展示出更复杂的多任务和转移学习技术的发展作为进一步研究的途径。

    Dec, 2018

  • 基于 Transformer 语言模型的句子瓶颈自编码器

    本篇论文提出一种基于自编码器和预训练 transformer 语言模型的文本表示学习方法，通过只训练句子编码和单层 transformer 解码器，获取良好的句子表示，超过了使用预训练 transformer 模型在各类文本任务中的表现，且参数规模更小。

    Aug, 2021

  • 使用卷积神经网络学习通用的句子表示

    本文提出了基于 CNN 编码器和 LSTM 解码器的分布式句子表征学习方法，旨在实现对多种任务的应用。作者通过训练模型在大规模小说数据集上获得高通用性的卷积句子编码器，并通过多项实验表明该模型在各类应用中均优于竞争方法。

    Nov, 2016

  • 面向约束句子生成的前向和后向语言建模

    本研究提出了一种新的前向后向语言模型，能够在特定词的约束下生成自然语言文本，表现优于传统的顺序语言模型。

    Dec, 2015

  • 用于连续句子分类的预训练语言模型

    本文提出一种基于预训练语言模型 (BERT) 的方法，能够直接利用所有句子中的所有单词的上下文信息进行文档级理解的任务，且在四个数据集中取得了最先进的结果。

    Sep, 2019

  • 未书写的语言也需要关注！使用编码器 - 解码器模型进行单词发现

    本研究考察了神经网络在非书面语境下的词语发现任务中的应用，其中包括无监督和有限监督两种情形，结果表明在只有 5,157 个句子的情况下，使用编码器 - 解码器神经机器翻译系统进行训练可以检索出至少 27% 的词汇量。此外，我们的方法具有生成翻译对位的优势，这可用于创建双语词表。未来可以直接从语音输入中使用此方法。

    Sep, 2017

  • 从自动挖掘的同义句训练有效的神经句子编码器

    本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

    Jul, 2022

  • 从自然语言推理数据中监督学习通用句子表示

    本研究探讨了利用 Stanford 自然语言推断数据集的监督学习训练通用句子向量表示，相比于 SkipThought 等无监督方法，该方式在多种迁移学习任务中表现更优，因此表明自然语言推断适用于迁移学习。

    May, 2017

  • 面向可计算验证的语言模型语义基础研究

    本文提出了一种语义基础的语言模型方法，将语言模型嵌入到自编码器中，在保持语义解析器冻结的同时通过采样和训练提高了自动生成的文本的流畅度和语义准确性，使用 BLEU 分数和标准解析度量在 English WebNLG 3.0 数据集上进行实验，并通过人工评估验证了自动评估实验的结果。

    Nov, 2022