ICLRJun, 2024

基于注意力的迭代分解方法用于张量乘积表示

TL;DR通过加强 Tensor Product Representation 编码的结构化表示的分解操作,我们提出了一种基于注意力的迭代分解模块 (AID),该模块可以应用于任何基于 TPR 的模型,并通过输入特征和结构化表示之间的竞争注意机制提供了增强的系统分解,从而显著提高了 TPR-based 先前工作在一系列系统化泛化任务中的性能。此外,定量和定性评估表明,AID 生成的结构化表示更具组合性和良好的结构性,优于其他方法。