Oct, 2023

通过仿真向 Seq2Seq 模型注入结构化归纳偏置

PDF
TL;DR一项关于 seq2seq 神经架构中结构变换的结构性归纳偏差的研究，通过将 Transformer 预训练来模拟有限状态转换器（FSTs），说明了如何在少量数据上实现系统性泛化和 FST 样任务的少样本学习。
inductive biasesseq2seqneural architecturesstructural transformationsfinite state transducers
发现论文，激发创造
  • 只预训结构：利用迁移学习理解语言归纳偏差

    本研究通过对语言模型进行先验的结构性偏置，探索了不同感性学习偏差的影响，并研究了三种感性偏差的相对成功：1）递归，分层处理的感性偏差；2）无法通过上下文自由文法建模的无限制令牌 - 令牌依赖的感性偏差；和 3）一个 Zipfian 幂律词汇分布的感性偏差。我们发现，复杂的令牌 - 令牌交互形成了最好的感性偏向，并且在非上下文自由情况下最强。同时，我们还表明，独立于语法结构，Zipfian 词汇分布形成一个良好的感性偏向。

    Apr, 2023

  • 提高变形金刚在形态丰富语言翻译中的结构偏差

    本论文旨在探讨如何通过加入结构偏置来提高 Transformer 的翻译能力，并且通过 TP-Transformer 和形态结构的分割两种方式来实现。实验表明，这两种方法都能使 Transformer 在翻译土耳其语和伊努伊特语等形态丰富的语言时表现更好，但要考虑数据集的大小。总的来说，结构编码方法可以使 Transformer 更加高效，在少量数据的情况下表现更好。

    Aug, 2022

  • 序列到序列网络中的层级归纳偏差源：语法需要生长在树上吗？

    研究神经序列到序列模型中的归纳偏差如何影响其推广行为，发现只有采用具有语法结构的树状模型才能保持类人语法推广能力。

    Jan, 2020

  • 当存在怀疑时的应对方法：seq2seq 学习者归纳偏差研究

    本研究通过研究 SEQ2SEQ 学习者对高模糊性任务的偏好，发现 LSTM、Transformer 和 CNN 等模型有不同的归纳偏好。在所有实验中，本研究使用描述长度作为归纳偏差的敏感度度量。

    Jun, 2020

  • 神经有限状态转换器的结构感知路径推断

    用神经有限状态转导器作为生成模型，通过训练和推断来估计隐变量下的后验分布，解决了解释输入和输出字符串之间潜在对齐路径问题。

    Dec, 2023

  • 神经网络是否可以从原始语言数据中获得结构偏见？

    通过针对不同结构相关现象的四个实验，我们评估了 BERT 在原始数据的预训练过程中是否获得了形成结构化概括的归纳偏差，并发现 BERT 在实体 - 助动词倒装，反身代词，以及嵌套从句中动词时态检测中进行了结构化概括，但在 NPI 许可证检测中进行了线性概括，这是迄今为止最有力的支持从原始数据中获取结构性偏差的人工学习器研究结果之一。

    Jul, 2020

  • 深度学习方法的句法归纳偏置

    我们在本文中介绍了两种归纳偏差方法，分别针对语法结构和依赖关系，实现了深度学习模型的归纳偏差，并通过这些方法建立了深度学习模型的潜在分层表示，使模型能够处理复杂的序列结构并在语言处理任务中取得了优秀的效果。

    Jun, 2022

  • 给白板上色：预训练赋予序列到序列模型分层归纳偏置

    本文通过使用预训练的 seq2seq 模型，探究其是否能够在句法变换中进行层次化泛化，同时还证明了从未经注释的自然语言文本中可以学习到分层句法信息，_SEQ2SEQ 模型具有句法泛化能力，但需要比人类学习者接收更多的语言数据才能达到该能力_。

    Mar, 2022

  • Seq2Seq-Attention 模型中语言泛化和失败之间的微妙平衡

    研究表明 Seq2Seq 模型在一些特殊结构外的数据上表现可能不理想，而本文探讨了在一个简单的、明确定义的结构转换任务中，该模型实现泛化的能力如何取决于其随机种子的选择且其泛化结构的能力高度敏感。

    May, 2018

  • Transformer 语言模型的结构指导

    本论文研究了在不需要大量预训练的情况下，以结构为导向的指导是否能够使 Transformer 语言模型学习更接近人类的系统语言泛化。通过在 BLLIP 数据集上对两种新模型进行实验，研究者发现引入结构性解析的辅助训练能够提高 Transformer 语言模型在句法推理上的泛化能力。

    Jul, 2021