ACLJul, 2021

R2D2: 递归 Transformer 基于可微分树的可解释分层语言建模

PDF
TL;DR本文提出了一种基于递归 Transformer 模型的分层过程的方法，并将双向语言模型预训练目标扩展到此体系结构，试图预测每个单词给定其左右抽象节点。实验结果表明，我们的方法在语言建模和无监督解析方面非常有效。
发现论文，激发创造
  • Fast-R2D2：基于剪枝的 CKY 算法的预训练递归神经网络，用于语法归纳和文本表征

    本文提出一个使用自上而下分析的模型进行基于规则剪枝的自适应语法归纳的方法，使得像 CKY 模型这样的基于递归的解析器可以更加高效地处理复杂的自然语言，实验证明该方法在语法归纳方面表现显著。

    Mar, 2022

  • 分层短语基序列到序列学习

    本研究提出一种基于神经网络的译码器，结合层次短语作为训练的归纳偏差和显式约束，在维持标准序列到序列 (seq2seq) 模型的灵活性的同时。通过训练一个基于括号转录文法的判别式解析器，以层次化地对齐源和目标语短语，并使用一个神经 seq2seq 模型逐个地翻译这些对齐短语。该模型提出两种推理模式：一种只依赖于 seq2seq 模型进行序列级别的翻译，另一种则结合了解析器和 seq2seq 模型。研究结果表明，在小规模机器翻译基准测试中，该方法与对照方法相比表现良好。

    Nov, 2022

  • 使用 Treeformers 形成树形结构

    Treeformer 是一种基于 CKY 算法和 Transformer 的体系结构，可以用于构建短语和句子的分层编码，相较于传统的基于 token 编码的 Transformer，能在机器翻译、文本摘要和自然语言理解等任务上带来显著改进。

    Jul, 2022

  • 语法驱动的迭代扩展语言模型用于可控文本生成

    通过引入句法归纳偏差，使用依赖分析树驱动转换器模型迭代生成句子，实验证明其比 LSTM 和 Transformer 更有效，并具有可比拟的多样性且需要较少的解码步骤，生成过程允许对生成文本的句法构造进行直接控制，从而实现风格变形的归纳。

    Apr, 2020

  • 数据转文本生成的层级模型

    本文提出了一种分层模型，对结构化数据进行编码，并通过数据元素级别和结构级别进行结构化数据转化为自然语言生成，实现了数据到文本的转换，并在 RotoWire 数据集上进行了定性和定量评估。

    Dec, 2019

  • 利用树状投影表征 Transformer 中的固有组合性

    研究表明，当进行语言数据训练时，transformers 是学习一种简单的基于树状结构的计算过程，可以解释像人类语言这样的复合意义系统，这种过程没有必要使用其完整架构的全部容量。通过无监督和无参数的方法，可以在任何 transformer 和树状结构之间建立功能投影，而三项不同的任务实验表明，在一些情况下，可无监督地恢复相同的树状结构，这些树状结构有助于模型的行为改进。

    Nov, 2022

  • 使用深度里外递归自编码器进行无监督的潜在树归纳

    该研究介绍了一种名为 DIORA 的深度内外递归自编码器，用于无监督地发现语法结构并学习句子元素表征。通过使用内外动态规划考虑句子上的所有可能的二叉树，DIORA 在两个基准数据集中实现了无监督二元组分析的最新技术及 F1 值，并使用 CKY 算法在测试时提取最高评分的分析树。

    Apr, 2019

  • 树结构中的句子生成

    通过生成具有树遍历顺序的目标句子的新方法，本研究旨在提高现有系统的性能。此外，还引入了一个名为 SenTree 的模块来生成近似二叉树，并提出了一个基于该方法的联合训练框架，结合生成对抗网络的内在机制。

    Jun, 2024

  • 无监督分析的层次 Transformer

    本文扩展了转换器模型，使其能够学习自然语言中的层次结构，得到了较好的无监督语法分析结果。

    Mar, 2020

  • 面向任务的分层 Transformer 对话系统

    本文提出了一种广义的分层 Transformer 编码器框架，并通过一系列实验展示了分层编码如何帮助任务导向的对话系统中的 transformer-based 模型更好地理解上下文从而实现更好的自然语言理解。

    Oct, 2020