ACLMay, 2019

CNNs 比 RNNs 更灵活地跳跃：序列到序列卷积网络中的组合概括

PDF
TL;DR本文介绍了 SCAN 数据集，研究了 seq2seq 模型在捕捉组合概括（如从组成词中推断 “jump around” 的含义）方面的能力，发现循环神经网络（RNNs）在最具挑战性的概括情况下完全失败，进而测试了卷积神经网络（CNN）的性能，结果显示与 RNN 相比有了巨大的提高，但该模型仍然没有引发系统性规则，这表明组合和非组合行为之间的区别并不明显。
scan datasetseq2seq modelscompositional generalizationsconvolutional networkrnns
发现论文，激发创造
  • 无系统性泛化：关于序列到序列递归网络的组成技能

    该论文介绍了 SCAN 领域，并使用序列到序列的方法对各种复发神经网络进行零样本泛化能力的测试。研究发现，当训练和测试指令之间的差异很小时，RNN 可以成功进行零样本泛化，但是当泛化需要系统的组合能力时，RNN 则失败了。研究结论显示，缺乏系统性可能部分原因导致神经网络需要大量的训练数据。

    Oct, 2017

  • 记忆还是泛化？寻找一根针在堆栈中的组合 RNN

    本文探讨了循环神经网络（RNN）的组合泛化能力，并在查找表合成域中测试了标准 RNN 的组合行为，发现少量 RNN 仍能达到部分组合解决方案。研究表明，通过梯度下降和直接支持更多组成方法的进化策略的结合，可能足以引导标准 RNN 向组合解决方案发展。

    Feb, 2018

  • 神经序列模型的组合泛化能力再探讨

    本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题，重点讨论了使用一次性原语概括来增强这种能力的方法，发现通过修改训练数据的方式，能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现，并且对该现象进行了详细的实证分析，指出了模型的概括性能对于训练数据的特征非常敏感，因而应该在设计这样的基准测试时仔细考虑训练数据的选择。

    Mar, 2022

  • 重塑熟悉：测试循环网络的组合泛化能力

    研究表明，在小范围模拟的语言理解任务中，seq2seq 模型具有很强的单词和短语的组合能力，但是当需要推导出新的组合规则时，模型的表现则很糟糕，需要更多的训练。

    Jul, 2018

  • 行动之前思考：组合泛化的简单基线

    本研究基于观察到实现 gSCAN 任务的关键在于在进行 navigate 操作之前确认 target object 和转化成序列的理念，提出了一个基于注意力机制改进的模型和一个辅助损失函数，该方法对两个组合任务具有很好的性能且验证了 gSCAN 作为评估模型组合能力的基准任务的相关性。

    Sep, 2020

  • 元序列转序列学习实现的组成泛化

    本文介绍了如何通过元 seq2seq 学习策略来改进记忆增强神经网络，在此方法中，模型通过一系列的 seq2seq 问题进行训练，从而获得解决新 seq2seq 问题所需的组合技能，进而解决了组合学习的一些问题。

    Jun, 2019

  • 教授卷积神经网络组合性

    本文提出了一种扩充并训练卷积神经网络的方法，使其学到的特征是组成式的，并促进对对象的分离。实验表明，这种组成式特征学习方法在目标识别任务中相比非组成式基线可以获得更好的性能提升。

    Jun, 2017

  • 组合成分分解：神经网络如何泛化？

    本研究基于多种语言和哲学理论对构成性的不同解释，提出了五个理论有据的测试方法，用于评估神经语言模型的构成性能力，结果分析了三种常见神经网络结构在高度构成性数据集上的表现和潜在改进方向。

    Aug, 2019

  • 组合网络实现基于场景的语言理解的系统性泛化

    提出通过遵循组成性原则来训练神经网络解决语言理解的挑战，并通用地应用于多种领域，进而提高机器人的安全性和公平性，所提出的网络能够显着提高自然语言理解能力，且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。

    Aug, 2020

  • 卷积神经网络和循环神经网络在自然语言处理中的比较研究

    本文章首次系统地比较了卷积神经网络与循环神经网络在多个自然语言处理任务上的表现，为深度学习网络的选择提供了基本指导。

    Feb, 2017