May, 2023

可解释的句子表示:变分自编码器和注意力机制

TL;DR提出使用变分自编码器和 Transformers 构建两种具有归纳偏置的模型,可将潜在表示中的信息分离成可理解的概念,其中 QKVAE 在转移实验中表现出竞争性能,并展示了明显的优化句法角色分离能力。