提出了一种名为 Grounded Graph Decoding 的方法,通过使用注意力机制将结构化预测接地,从而提高语言表示的组成泛化,该方法显示出无需在目标领域做出任何假设即可学习组不变表示的能力,显著提高了复杂输入的一般性。
Nov, 2021
在语义解析中,提出了一个新的解码框架,该框架保留了序列到序列模型的表现力和通用性,同时具有类似词典的对齐和解开信息处理,能够提高模型的组合泛化能力。
Oct, 2020
本文提出了 Recursive Decoding (RD) 算法,针对 “decode-side” 推理,通过逐步预测每个单词来训练 seq2seq 模型,进而在 grounded language understanding 中,以及 seq2seq 领域中实现了显著的改进。
Jan, 2022
该研究提出了一种使用 CKY 式分析器以底向上的组合方式计算问题文本的表示和标记,以在多步推理时达到系统化推广的模型,将模型调整为以树结构的归纳偏置,因而在算术表达式基准测试以及闭合测试中达到了 96.1% 的准确率。
Jul, 2020
我们利用新的参数化和置换预测方法,提出了一种将语义解析理解为两步处理,并通过规则化线性规划求解器来预测排列,进而取得了比预训练 seq2seq 模型和之前的工作更好的性能,实现了在深度递归上的高准确度的泛化。
May, 2023
该文章提出了一种基于数据分布的组合建模通用框架,证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数,可在训练数据上产生新的、格式正确的例子,进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强,在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果,在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。
通过对 Disentangled sequence-to-sequence 模型进行改进,我们引入了两个关键的修改,以更好地处理语言中的组合概括,从而在现有任务和数据集上实现更好的泛化性能,并创造了一个新的机器翻译基准,并展示了这种方法比人工设计呈现更好的真实通用性。
Dec, 2022
通过逐步提示的基于句法分析的分解,本研究发现了更多语义分析任务中的挑战。这一最优方法使我们在 CFQ 上取得了最新的技术成果,同时只需要传统方法所需训练数据的 1%。由于我们方法的普适性,我们期望类似的方法将在知识密集型应用中取得新的成果。
Sep, 2022
本篇文章提出了一种基于 Wikidata 的多语言、平行的问句对数据集,即 Multilingual Compositional Wikidata Questions(MCWQ),用于分析语义解析器在英语、希伯来语、卡纳达语和汉语中的组合泛化能力。结果表明,即使使用最先进的预训练多语言编码器,跨语言组合泛化能力也无法实现,文章的方法、数据集和结果将有助于未来关于具有更现实和多样化背景下语义解析的研究。
Aug, 2021
本文提出一种基于神经机器翻译的新模型 Syntactic Attention,采用分离语法与语义学习的方式训练,拥有捕捉人类语言组成性结构的能力,相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。
Apr, 2019