通过专注的指导进行复合学习
本文详细比较了两种序列模型在试图解决合成任务时的差别,通过更多的监督信号,辅助注意机制,参数空间和隐藏层激活机制的不同,发现具有引导性的网络在识别更组合解决方案方面具有更高的效率,并且展现出更加模块化的神经元特点。
Jun, 2019
本文介绍了 seq2attn,这是一种新的架构,旨在利用注意力来发现输入中的组合模式。这篇论文证明了 seq2attn 可以成功地推广应用于挑战神经网络组合技能的两项任务。
Jun, 2019
本文提出一种基于神经机器翻译的新模型 Syntactic Attention,采用分离语法与语义学习的方式训练,拥有捕捉人类语言组成性结构的能力,相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。
Apr, 2019
本文提出了一种基于源输入逐步自适应重编码的 sequence-to-sequence 模型扩展,以此来鼓励解开编码时存在的混淆状态。最终实验结果表明,这个扩展能够提供更好的解释性和推广性。
Oct, 2021
本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题,重点讨论了使用一次性原语概括来增强这种能力的方法,发现通过修改训练数据的方式,能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现,并且对该现象进行了详细的实证分析,指出了模型的概括性能对于训练数据的特征非常敏感,因而应该在设计这样的基准测试时仔细考虑训练数据的选择。
Mar, 2022
本文介绍了如何通过元 seq2seq 学习策略来改进记忆增强神经网络,在此方法中,模型通过一系列的 seq2seq 问题进行训练,从而获得解决新 seq2seq 问题所需的组合技能,进而解决了组合学习的一些问题。
Jun, 2019
通过对 Disentangled sequence-to-sequence 模型进行改进,我们引入了两个关键的修改,以更好地处理语言中的组合概括,从而在现有任务和数据集上实现更好的泛化性能,并创造了一个新的机器翻译基准,并展示了这种方法比人工设计呈现更好的真实通用性。
Dec, 2022
本文探讨了循环神经网络(RNN)的组合泛化能力,并在查找表合成域中测试了标准 RNN 的组合行为,发现少量 RNN 仍能达到部分组合解决方案。研究表明,通过梯度下降和直接支持更多组成方法的进化策略的结合,可能足以引导标准 RNN 向组合解决方案发展。
Feb, 2018