Aug, 2022

提高变形金刚在形态丰富语言翻译中的结构偏差

PDF
TL;DR本论文旨在探讨如何通过加入结构偏置来提高 Transformer 的翻译能力，并且通过 TP-Transformer 和形态结构的分割两种方式来实现。实验表明，这两种方法都能使 Transformer 在翻译土耳其语和伊努伊特语等形态丰富的语言时表现更好，但要考虑数据集的大小。总的来说，结构编码方法可以使 Transformer 更加高效，在少量数据的情况下表现更好。
machine translationtransformer-based modelsstructural learningtp-transformermorphological tokenization
发现论文，激发创造
  • Transformer 语言模型的结构指导

    本论文研究了在不需要大量预训练的情况下，以结构为导向的指导是否能够使 Transformer 语言模型学习更接近人类的系统语言泛化。通过在 BLLIP 数据集上对两种新模型进行实验，研究者发现引入结构性解析的辅助训练能够提高 Transformer 语言模型在句法推理上的泛化能力。

    Jul, 2021

  • 只预训结构：利用迁移学习理解语言归纳偏差

    本研究通过对语言模型进行先验的结构性偏置，探索了不同感性学习偏差的影响，并研究了三种感性偏差的相对成功：1）递归，分层处理的感性偏差；2）无法通过上下文自由文法建模的无限制令牌 - 令牌依赖的感性偏差；和 3）一个 Zipfian 幂律词汇分布的感性偏差。我们发现，复杂的令牌 - 令牌交互形成了最好的感性偏向，并且在非上下文自由情况下最强。同时，我们还表明，独立于语法结构，Zipfian 词汇分布形成一个良好的感性偏向。

    Apr, 2023

  • 神经网络是否可以从原始语言数据中获得结构偏见？

    通过针对不同结构相关现象的四个实验，我们评估了 BERT 在原始数据的预训练过程中是否获得了形成结构化概括的归纳偏差，并发现 BERT 在实体 - 助动词倒装，反身代词，以及嵌套从句中动词时态检测中进行了结构化概括，但在 NPI 许可证检测中进行了线性概括，这是迄今为止最有力的支持从原始数据中获取结构性偏差的人工学习器研究结果之一。

    Jul, 2020

  • Transformer 语言模型中的句法归纳偏置：对低资源语言特别有帮助吗？

    一项关于基于 Transformer 的语言模型（如 BERT）的研究尝试使用语法归纳偏置来增强预训练过程，理论上通过将语法结构融入训练过程可以降低训练所需的数据量。但此类方法通常在高资源语言（如英语）上进行测试。在这项研究中，我们调查了这些方法是否可以弥补低资源语言中的数据稀疏性，研究假设它们在低资源语言中应该更加有效。我们对五种低资源语言进行了实验：维吾尔语、沃洛夫语、马耳他语、科普特语和古希腊语。我们发现这些语法归纳偏置方法在低资源环境中产生不均匀的结果，并在大多数情况下提供出乎意料的少量益处。

    Nov, 2023

  • 对结构感知 Transformer 语言模型进行改进以解决端任务

    本篇论文中，我们提出了一种结合语法距离来编码成语句法和依赖关系的机器学习模型。该模型采用中间层结构学习策略来融合结构，并通过多任务学习方案进行主要语义任务的训练，从而实现了结构改造的语言模型。实验结果表明，这种改造的结构感知 Transformer 语言模型不仅在 perplexity 上有所提高，同时能够识别准确的句法短语，通过结构感知微调，对于语义和句法依赖任务都能显著提高效果。

    Sep, 2020

  • 将结构对齐偏置纳入一种注意力神经翻译模型

    本文通过结合词汇调整模型，位置偏差，马尔科夫和翻译方向的一致性等多种结构偏差因子，扩展了注意力神经翻译模型，相比基线模型和标准短语模型在多种语言对中取得了提升，验证了在低资源环境中的有效性。

    Jan, 2016

  • 将句法和语义结构丰富非自回归变压器用于神经机器翻译

    本研究旨在提高非自回归模型的神经机器翻译的效率和性能，通过将语言的句法和语义结构以及目标句子中的中间潜在对齐纳入一个非自回归 Transformer 模型。实验证明，该模型在速度上显著提高，与现有的多个最先进的非自回归模型相比，在保持翻译质量的同时表现突出。

    Jan, 2021

  • 神经机器翻译中目标语言形态的建模：策略比较

    本文研究机器翻译中针对形态丰富的目标语言面临的挑战以及采用词元标记策略和语言学知识进行目标语言语言建模的实验，结果表明词汇量限制、语法一致性和语言关联性问题仍然是机器翻译需要解决的重要问题。

    Mar, 2022

  • 香草 Transformer 中的分层结构理解

    本文研究了神经序列和转换语言模型的层次结构泛化能力，发现通过长时间训练，模型能够学习到层次结构的一般性，对模型深度的分析证明浅层和深层不如中等深度的模型性能优秀。此发现证实了香草珂朵莉模型能够发现和使用自然语言中的层次结构。

    May, 2023

  • 无需种植树木的语法学习：理解变换器何时以及何种方式实现分层普遍化

    透过对自然语言数据训练的 Transformer 模型的研究和实验证明，具备语言建模目标的 Transformer 模型更容易学习和推广层次结构，并在处理无法预见的句法结构的句子时表现优异。

    Apr, 2024