Jul, 2023

自动式歧视: 情感分析模型和毒性分析模型中明显的残障偏见探究

TL;DR我们分析情感分析和毒性检测模型,以检测针对残疾人群体的明显偏见。我们使用扰动敏感性分析的偏见识别框架来研究与残疾人有关的社交媒体平台,特别是Twitter和Reddit上的对话,以了解残疾偏见在现实社交环境中的传播方式。然后,我们创建了“情感中的偏见识别测试”(BITS)语料库,以量化任何情感分析和毒性检测模型中的明显残疾偏见。我们的研究利用BITS来发现四个开放式AI-as-a-Service(AIaaS)情感分析工具(TextBlob、VADER、Google Cloud Natural Language API、DistilBERT)以及两个毒性检测模型(两个版本的Toxic-BERT)中的显着偏见。我们的研究结果表明,所有这些模型在针对残疾人群体方面存在显著的明确偏见。