Oct, 2023

强结构编码是否能减少消息传递的重要性?

TL;DR当提供强大的结构性编码时,基于张量乘积的相互作用模型表明比基于拼接的编码更加鲁棒,即使去除了消息传递层,也能在某些任务上几乎不降低性能。