May, 2024
可解释的多任务学习与共享的变量嵌入
Interpretable Multi-task Learning with Shared Variable Embeddings
Maciej Żelaszczyk, Jacek Mańdziuk
TL;DR该论文提出了一种具有共享信息的通用可解释性预测系统，该系统能够在不同的多任务设置中进行预测，其中各个任务不一定具有相同的输入 / 输出结构。通过在一个共同的空间中获取输入和输出变量的嵌入，通过参考一组共享的嵌入来生成输入嵌入，这些嵌入在任务之间被重复使用。所有的嵌入都被视为模型参数并进行学习。论文通过对共享嵌入空间和注意机制的稀疏性进行具体的限制。实验证明，引入共享嵌入并不会损害从基本变量嵌入方法中得到的结果。进一步进行了一系列的剔除分析。在注意机制中引入稀疏性既提高了准确性，又显著减少了所需的训练步骤的数量。共享嵌入在定性评估和将特定共享嵌入映射到预定义概念方面提供了可解释性的度量，而这些概念不是针对所考虑的模型设计的。准确性和可解释性之间存在一种权衡。基本的共享嵌入方法注重可解释性，而稀疏注意方法则提倡准确性。研究结果表明，可将变量嵌入方法扩展为共享信息方法，以提供更高的可解释性和准确性。