通过对 Disentangled sequence-to-sequence 模型进行改进,我们引入了两个关键的修改,以更好地处理语言中的组合概括,从而在现有任务和数据集上实现更好的泛化性能,并创造了一个新的机器翻译基准,并展示了这种方法比人工设计呈现更好的真实通用性。
Dec, 2022
在语义解析中,提出了一个新的解码框架,该框架保留了序列到序列模型的表现力和通用性,同时具有类似词典的对齐和解开信息处理,能够提高模型的组合泛化能力。
Oct, 2020
该研究提出了 COMPSITION 模型,它是 Seq2Seq 模型的一个扩展,旨在通过引入一个复合层来适当地学习不同编码器层的表示,以生成传递到不同解码器层的不同键和值,从而在两个现实基准上取得了有竞争力的甚至是最先进的结果。
May, 2023
通过引入 fuse-attention 模块,提出了一种扩展的序列到序列模型( extsc {FuSion}),以适当地将上一层的信息融合回编码和解码过程中,有效地解决了表示缠结问题,并在两个实际基准测试上取得了竞争性甚至最先进的结果,从而验证了我们的提议的有效性。
Jul, 2023
通过使用中间表示法,这篇研究提出了一种改善基于预训练的 seq2seq 模型的组合泛化能力的有效方法,该方法在 CFQ 数据集上表现出新的最优水平(精度提高 14.8 个百分点),在三个 text-to-SQL 数据集的示例分割上精度提高了 15.0 到 19.4 个百分点。
Apr, 2021
本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题,重点讨论了使用一次性原语概括来增强这种能力的方法,发现通过修改训练数据的方式,能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现,并且对该现象进行了详细的实证分析,指出了模型的概括性能对于训练数据的特征非常敏感,因而应该在设计这样的基准测试时仔细考虑训练数据的选择。
Mar, 2022
介绍了 Attentive Guidance,这是一种机制,可以指导序列到序列模型配备关注机制,以找到更多的组合解决方案。通过测试,证明序列到序列模型具备在不需要额外组件的情况下找到组成性解决方案的能力。
May, 2018
本文介绍了如何通过元 seq2seq 学习策略来改进记忆增强神经网络,在此方法中,模型通过一系列的 seq2seq 问题进行训练,从而获得解决新 seq2seq 问题所需的组合技能,进而解决了组合学习的一些问题。
Jun, 2019
本文探讨了使用不同的自监督学习算法所学到的表示在复合泛化上的能力,研究发现,与其它算法相比,使用 EL 模型学习到的表示具有更强的复合泛化能力,但在训练简单模型并使用少量标签进行泛化时直接使用瓶颈表示会导致泛化性能较差,同时现有的度量复合性的指标与本文的评价方法不相关
Oct, 2022
使用可表征语法和语义规律的定义句类别训练变分自编码器,并在多个测试中展现其成功解耦表示效果,以及在定义建模中得到的改善。
Sep, 2022