Feb, 2024
大型语言模型能学习独立因果机制吗?
Can Large Language Models Learn Independent Causal Mechanisms?
Gaël Gendron, Bao Trung Nguyen, Alex Yuxuan Peng, Michael Witbrock, Gillian Dobbie
TL;DR利用因果关系的两个概念在大型语言模型中学习独立因果机制,通过引入路由方案实现网络的专业化,并采用最小化互信息目标训练一个独立模块来学习抽象和领域不变机制,从而改善抽象和因果推理任务的超越分布性能。