Jan, 2025
语言模型中的同质性偏见与差异化采样不确定性
Homogeneity Bias as Differential Sampling Uncertainty in Language Models
TL;DR本研究解决了大型语言模型(LLMs)和视觉-语言模型(VLMs)在处理边缘化群体时表现出同质性偏见的机制,对此机制的探讨尚显不足。我们提出这种偏见源于推理时采样概率分布的系统性差异,通过分析熵、困惑度和差异概率三个采样不确定性度量发现,特定模型在生成边缘化群体文本时采样变得更确定。这些发现有助于揭示某些模型中的同质性偏见,但不同模型之间的差异表明多种机制可能共同作用于AI中的同质性偏见问题。