符号数学中序列模型的符号脆弱性:对系统化推广问题的研究
通过实验证明,Seq2Seq 模型在英语句法分析、语义分析和文本之间的转换任务中,普遍存在推广的普适性较低的问题,但是在建立了语言知识的神经符号模型中,这些限制往往可以克服。
Oct, 2022
研究表明 Seq2Seq 模型在一些特殊结构外的数据上表现可能不理想,而本文探讨了在一个简单的、明确定义的结构转换任务中,该模型实现泛化的能力如何取决于其随机种子的选择且其泛化结构的能力高度敏感。
May, 2018
提出了一种基于 NSR 的神经符号递归机制,通过感知、语法解析和语义推理三个模块的联合学习来实现优越的系统化推广,并通过三个不同领域的基准测试取得了 state-of-the-art 的表现结果。
Oct, 2022
通过对人类意义学习能力的重新审视,本文重新评估语序 - 语序模型在新旧概念之间语义联系的条件下所具有的组合技能,证明了它能够通过语义关联来成功地进行一次性泛化到新概念和组合中,这为更高级的学习方案揭示了现代神经网络在系统概括中的潜力。
Mar, 2020
通过在神经序列模型(System 1)中加入逻辑推理模块(System 2),提高模型的逻辑一致性和准确性。实验表明此方法可以提高故事生成和指令执行的一致性和准确性。
Jul, 2021
通过引入神经符号堆栈机(Neural-Symbolic Stack Machine,NeSS),将神经网络的序列生成能力与符号堆栈机的递归支持相结合,解决了现有深度学习模型存在的组成泛化能力有限的问题。NeSS 在四个领域的测试中均获得了 100% 的组成泛化性能。
Aug, 2020
本文介绍了一种评估神经模型能否学习自然语言的单调性推理系统性的方法,并考虑了语法结构的重要性,实验表明神经模型的推理性能在语法结构相同的情况下很好。
Apr, 2020
通过测试训练数据分配策略、信道大小、词汇量大小及计算最大句子长度等几个方面,探究了词组合性和一般化能力在视觉谈判游戏中的具体应用情况。结果表明,采用适当的信道大小和适当的训练策略,可以提高视觉任务中的语言组合性及语言生成的一般化能力。
Dec, 2020
本文提出了一种基于源输入逐步自适应重编码的 sequence-to-sequence 模型扩展,以此来鼓励解开编码时存在的混淆状态。最终实验结果表明,这个扩展能够提供更好的解释性和推广性。
Oct, 2021