Jun, 2019

元序列转序列学习实现的组成泛化

PDF
TL;DR本文介绍了如何通过元 seq2seq 学习策略来改进记忆增强神经网络，在此方法中，模型通过一系列的 seq2seq 问题进行训练，从而获得解决新 seq2seq 问题所需的组合技能，进而解决了组合学习的一些问题。
meta seq2seq learningcompositionalitymemory-augmented neural networksimplicit rulesscan tests
发现论文，激发创造
  • 神经序列模型的组合泛化能力再探讨

    本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题，重点讨论了使用一次性原语概括来增强这种能力的方法，发现通过修改训练数据的方式，能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现，并且对该现象进行了详细的实证分析，指出了模型的概括性能对于训练数据的特征非常敏感，因而应该在设计这样的基准测试时仔细考虑训练数据的选择。

    Mar, 2022

  • 学习适当组合句法和语义表示以实现组合泛化

    该研究提出了 COMPSITION 模型，它是 Seq2Seq 模型的一个扩展，旨在通过引入一个复合层来适当地学习不同编码器层的表示，以生成传递到不同解码器层的不同键和值，从而在两个现实基准上取得了有竞争力的甚至是最先进的结果。

    May, 2023

  • 通过分离语法和语义，在深度序列到序列模型中实现对组合概括的学习

    本文提出一种基于神经机器翻译的新模型 Syntactic Attention，采用分离语法与语义学习的方式训练，拥有捕捉人类语言组成性结构的能力，相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。

    Apr, 2019

  • 元学习以复合泛化为目标

    自然语言是组成的，神经网络在组成泛化方面表现差， 自相似度驱动的元学习可提高自然语言处理模型的组成泛化能力。

    Jun, 2021

  • 语义标记实现组合泛化

    在语义解析中，提出了一个新的解码框架，该框架保留了序列到序列模型的表现力和通用性，同时具有类似词典的对齐和解开信息处理，能够提高模型的组合泛化能力。

    Oct, 2020

  • 重塑熟悉：测试循环网络的组合泛化能力

    研究表明，在小范围模拟的语言理解任务中，seq2seq 模型具有很强的单词和短语的组合能力，但是当需要推导出新的组合规则时，模型的表现则很糟糕，需要更多的训练。

    Jul, 2018

  • 基于分解的序列到序列学习的真实世界组合通用化

    通过对 Disentangled sequence-to-sequence 模型进行改进，我们引入了两个关键的修改，以更好地处理语言中的组合概括，从而在现有任务和数据集上实现更好的泛化性能，并创造了一个新的机器翻译基准，并展示了这种方法比人工设计呈现更好的真实通用性。

    Dec, 2022

  • 序列建模的元多任务学习

    本研究提出了一个新的语义合成共享方式，使用一个共享的元网络来捕捉语义合成的元知识并生成任务特定的语义合成模型的参数，实验表明这种方法在文本分类和序列标注等任务中具有许多优势，并且我们的提议的模型学习到的共享的元知识可以作为现成知识很容易地转移到新的任务中。

    Feb, 2018

  • 组合推理需要组合分析器

    该研究系统比较了序列到序列模型和基于组合原则的模型在 COGS 语料库上处理组合泛化能力的能力，在结构泛化任务中，基于序列的模型表现接近零，而组成模型在结构泛化任务中表现接近完美，这表明结构泛化是组成泛化的关键度量，需要能够处理复杂结构的模型。

    Feb, 2022

  • 序列到序列模型对结构泛化的困难

    通过实验证明，Seq2Seq 模型在英语句法分析、语义分析和文本之间的转换任务中，普遍存在推广的普适性较低的问题，但是在建立了语言知识的神经符号模型中，这些限制往往可以克服。

    Oct, 2022