EMNLPNov, 2023
SAC$^3$: 基于语义感知交叉检验的黑盒语言模型可靠幻觉检测
SAC$^3$: Reliable Hallucination Detection in Black-Box Language Models via Semantic-aware Cross-check Consistency
Jiaxin Zhang, Zhuohang Li, Kamalika Das, Bradley A. Malin, Sricharan Kumar
TL;DR通过引入语义感知的交叉检查一致性（SAC^3）方法，我们重新审视了现有的基于语言模型自一致性的幻觉检测方法，并发现了两种无法通过自一致性检查有效识别的幻觉类型，即问题级和模型级，并通过利用包括语义等效问题扰动和交叉模型响应一致性检查在内的先进方法来检测这两种幻觉，通过大量系统的经验分析，我们证明了 SAC^3 在检测多个问答和开放领域生成基准中的非事实和事实陈述方面优于现有技术。