COLINGFeb, 2022
从特征角度解决文本数据关联性问题:去除无关信息,提取相关信息
Decorrelate Irrelevant, Purify Relevant: Overcome Textual Spurious Correlations from a Feature Perspective
Shihan Dou, Rui Zheng, Ting Wu, SongYang Gao, Junjie Shan...
TL;DR本文针对自然语言理解领域模型的数据集偏见问题,提出了一种基于特征空间视角的微调方法,使用随机傅里叶特征和加权重采样来解耦特征之间的依赖,并设计了基于互信息的方法来净化这些特征,实验表明该方法优于其他对比方法。