Aug, 2024
评估因果探测方法的可靠性：权衡、限制与无效干预的困境
Measuring the Reliability of Causal Probing Methods: Tradeoffs,
Limitations, and the Plight of Nullifying Interventions
TL;DR本研究解决了因果探测方法在理论基础上的有效性评估缺乏系统和实证分析的问题。提出了一种通用的实证分析框架，明确界定和量化了因果探测的两个关键要求：完整性和选择性。研究发现这两者之间存在固有的权衡，无论哪种方法都无法同时满足这两个标准，而无效干预的方法在完整性上始终远低于反事实干预，表明其在因果探测中的有效性受限。