Mar, 2024

预训练的结构化生成变换器：规模化的无监督句法语言模型

PDF
TL;DR使用大规模预训练结构转换器的句法语言模型（SLM），通过从头开始在原始文本上进行高并行度的无监督训练，弥补了以前的 SLM 存在的限制，如依赖于黄金树和顺序训练。同时，我们介绍了一个表示替代方法，以在硬 EM 方式下联合并行训练模型，证明了 Generative Pretrained Structured Transformers（GPST）在语言理解和语言生成等多个任务中相比 GPT-2 具有可比大小时的优越性，同时在左到右语法归纳方面也显著优于现有的无监督 SLM，并具有训练加速的优势。
syntactic language modelgenerative pretrained structured transformersunsupervised slmsyntactic parse treeslanguage understanding
发现论文，激发创造
  • 具高效的分层变换器的生成式预训练语音语言模型

    我们介绍了一种用于有效语音语言建模的层次变压器的生成预训练语音变压器 (GPST)，它将音频波形量化为两种不同类型的离散语音表示，并在层次变压器架构中进行集成，从而实现统一的单阶段生成过程并增强 Hi-Res 音频生成能力。通过以端到端无监督的方式在大型语音语料库上进行训练，GPST 可以生成具有多样说话人身份的句法一致的语音。给定一个简短的 3 秒提示，GPST 可以产生自然连贯的个性化语音，展示了上下文学习能力。此外，我们的方法可以通过结合多语义令牌和通用声学令牌轻松扩展到口语跨语言语音生成。实验结果表明，GPST 在词错误率、语音质量和说话人相似度方面明显优于现有语音语言模型。详情请参见 https://youngsheen.github.io/GPST/demo。

    Jun, 2024

  • Transformer 语言模型的结构指导

    本论文研究了在不需要大量预训练的情况下，以结构为导向的指导是否能够使 Transformer 语言模型学习更接近人类的系统语言泛化。通过在 BLLIP 数据集上对两种新模型进行实验，研究者发现引入结构性解析的辅助训练能够提高 Transformer 语言模型在句法推理上的泛化能力。

    Jul, 2021

  • 树木种植的变压器：具有隐式句法监督的大型语言模型

    提出了一种名为 Tree-Planted Transformers（TPT）的基于树状平衡方法的革新性模型，能够在没有显式句法监督的情况下通过树状结构反映自然语言的句法结构，并在句法评估中表现出色，为 Syntactic Large Language Models（SLLMs）奠定了有前景的基础。

    Feb, 2024

  • 用于稳健结构预测的结构化语言生成模型

    我们提出了结构化语言生成模型（SLGM），这是一种结合新的损失函数和推理方法，以更好地泛化结构化输出的混合模型。

    Feb, 2024

  • 应用可逆神经投影进行无监督学习句法结构

    提出了一种新颖的生成模型，通过串联一个可逆神经网络和一个结构化的生成先验，在无监督的情况下联合学习离散的句法结构和连续的词表示，实现了高效的精确推断和边缘似然计算，并在两个任务中进行了实验评估。

    Aug, 2018

  • GraphGPT: 大型语言模型的图指令调优

    我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力，通过发展面向图结构知识的大型语言模型（LLMs），并利用图指示调整范式来与图结构知识建立联系，探索自我监督的图结构信号和任务特定的图指示，从而引导 LLMs 在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估，展示了优越的泛化能力，并超过了最先进的基准模型。

    Oct, 2023

  • 基于韵律的无文本生成式语音语言建模

    本文提出了一种基于多流 Transformer 和 HiFi-GAN 的韵律感知生成口语语言模型 (pGSLM)，利用韵律为生成式预训练提供了更好的理解和生成能力。实验结果表明，该模型可以显著提高韵律和内容建模，并能够生成自然、有意义和连贯的语音。

    Sep, 2021

  • 用句法监督的 Transformer 加速神经机器翻译

    本文介绍了一种基于句法指导的 Transformer 模型（SynST），它可以在预测出分块解析树之后自动并行地生成目标语言的所有标记，从而提高了翻译速度。一系列的实验表明，相比基线的自回归 Transformer 模型，SynST 模型在 En-De 和 En-Fr 数据集上实现了更高的 BLEU 分数，且速度快了约 5 倍。

    Jun, 2019

  • 文本属性图上的纯 Transformer 预训练框架

    图序列预训练框架 GSPT 利用统一的文本表示，在图领域中取得了显著的可转移性和实证成功。

    Jun, 2024

  • 自监督图层掩蔽预训练用于图到文本生成

    该论文提出了使用图形遮盖的预训练策略来提高图到文本生成任务中预训练模型的效果，该方法取得了 WebNLG+2020 和 EventNarrative 数据集上的最新最好成果，并在低资源设置中表现出非常有效的结果。

    Oct, 2022