ACLMay, 2018

Seq2Seq-Attention 模型中语言泛化和失败之间的微妙平衡

PDF
TL;DR研究表明 Seq2Seq 模型在一些特殊结构外的数据上表现可能不理想，而本文探讨了在一个简单的、明确定义的结构转换任务中，该模型实现泛化的能力如何取决于其随机种子的选择且其泛化结构的能力高度敏感。
发现论文，激发创造
  • 序列到序列模型对结构泛化的困难

    通过实验证明，Seq2Seq 模型在英语句法分析、语义分析和文本之间的转换任务中，普遍存在推广的普适性较低的问题，但是在建立了语言知识的神经符号模型中，这些限制往往可以克服。

    Oct, 2022

  • 通过分离语法和语义，在深度序列到序列模型中实现对组合概括的学习

    本文提出一种基于神经机器翻译的新模型 Syntactic Attention，采用分离语法与语义学习的方式训练，拥有捕捉人类语言组成性结构的能力，相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。

    Apr, 2019

  • 符号数学中序列模型的符号脆弱性：对系统化推广问题的研究

    通过研究符号数学积分问题，本文发现序列模型在推广、组合性、超出分布方面的表现不佳，需要更多超出测试集的评估。

    Sep, 2021

  • 序列转序列模型中更好的解码和语言模型集成

    该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为 10.6％，与 trigram 语言模型一起达到了 6.7％的词错误率。

    Dec, 2016

  • 给白板上色：预训练赋予序列到序列模型分层归纳偏置

    本文通过使用预训练的 seq2seq 模型，探究其是否能够在句法变换中进行层次化泛化，同时还证明了从未经注释的自然语言文本中可以学习到分层句法信息，_SEQ2SEQ 模型具有句法泛化能力，但需要比人类学习者接收更多的语言数据才能达到该能力_。

    Mar, 2022

  • 神经序列模型的组合泛化能力再探讨

    本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题，重点讨论了使用一次性原语概括来增强这种能力的方法，发现通过修改训练数据的方式，能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现，并且对该现象进行了详细的实证分析，指出了模型的概括性能对于训练数据的特征非常敏感，因而应该在设计这样的基准测试时仔细考虑训练数据的选择。

    Mar, 2022

  • 序列到序列网络中的层级归纳偏差源：语法需要生长在树上吗？

    研究神经序列到序列模型中的归纳偏差如何影响其推广行为，发现只有采用具有语法结构的树状模型才能保持类人语法推广能力。

    Jan, 2020

  • 使用 RNN Seq2seq 模型学习跨序列转换和对齐

    本研究使用递归神经网络序列对序列 (RNN seq2seq) 模型，研究其在学习四种字符串转换任务（相同、反向、完全重复和指定输入重复）方面的能力，发现虽然关注度有助于学习，但是其结果仍存在显著局限性。此外本研究结果更好地说明了形式语言的复杂性层次结构，而不是字符串转移的层次结构。

    Mar, 2023

  • 基于结构重排序的序列转导中的潜在对齐建模

    该研究通过在神经 seq2seq 模型中建模 segment-to-segment 对齐，提高了模型的系统化泛化能力，并在语义解析和机器翻译等任务上得到了较好的表现。

    Jun, 2021

  • 神经序列模型中自注意力的理论限制

    本文研究了自注意力在建模形式语言方面的计算能力，发现其在处理分层结构时存在强烈的理论限制，但在自然语言处理方面表现卓越。

    Jun, 2019