AAAIDec, 2023
赋予 Transformer 系统性组合能力的探索
Towards Equipping Transformer with the Ability of Systematic Compositionality
Chen Huang, Peixin Qin, Wenqiang Lei, Jiancheng Lv
TL;DR提出了一种名为 CAT 的具有组合性意识的 Transformer 模型以及两个新的预训练任务,实验结果表明 CAT 在组合性感知任务上优于基线模型,对标准语言理解任务的有效性影响较小。