Feb, 2023
提高语言模型的超出分布普适能力:反事实增强数据是不够的
Improving the Out-Of-Distribution Generalization Capability of Language Models: Counterfactually-Augmented Data is not Enough
Caoyun Fan, Wenqing Chen, Jidong Tian, Yitian Li, Hao He...
TL;DR本文研究了 Counterfactually-Augmented Data 对自然语言处理模型的改进作用,发现其普遍存在的近视现象导致了其潜能无法完全被发掘。作者设计了两类新的约束来帮助提取更完整的因果特征,通过情感分析和自然语言推理两个任务来验证该方法,实验结果表明该方法能够释放 CAD 的潜能,并提高模型的 OOD 泛化能力。