- ACL大型语言模型在雇佣决策中是否基于种族、民族和性别进行歧视?
我们研究大型语言模型(LLMs)是否在招聘决策中表现出基于种族和性别的姓名歧视,类似社会科学中的经典研究结果(Bertrand 和 Mullainathan,2004 年)。通过为 LLMs 设计一系列模板提示,要求其给被命名的求职者写一封 - 白人男性主导,黑人女性协助:揭示语言代理中的性别、种族和交叉偏见
通过语言表达的机构性来研究社会偏见,探究人类编写文本和大型语言模型(LLM)生成文本中的社会偏见,并通过验证数据集和分类器揭示不同领域的语言机构性偏见。研究结果表明,在性别、种族和交叉身份方面,人类编写的文本中存在与现实社会观察一致的语言机 - 评估大型语言模型中的性别和种族刻板印象
通过比较研究和建立评估框架,在专业环境中研究语言模型的两种偏见:性别和种族。我们发现,尽管较新的模型相比较老模型来说性别偏见大大减少,但种族偏见仍然存在。
- 包容性画像:有关种族的人机交互技术
通过社会理论中有关种族的连接,本文提出了一种名为包容人像(Inclusive Portraits)的新方法,改善了人工参与(HITL)系统在面部验证中的性能,并突出了在设计 HITL 系统时考虑个体工作者特点的重要性,而不是将工作者视为同质 - 使用基于提示的学习检测自然语言偏见
在该项目中,我们探索了新兴的提示工程领域,并将其应用于检测语言模型偏见的下游任务。具体而言,我们研究如何设计能够指示 4 种不同类型偏见(性别、种族、性取向和基于宗教)的提示。我们在多个流行和公认的模型(BERT、RoBERTa 和 T5) - 大型预训练神经语言模型中的潜在情感偏差:黑人与愤怒,白人与喜悦?
该研究针对大型预训练语言模型,通过对其在情感检测任务中存在的偏向性进行调查,揭示了情感偏差的存在。在分析情感偏斜的语料库分布的基础上,研究对不同偏向进行了广泛的分类和强度评估, 结果表明大型预训练语言模型在情感检测系统中存在明显的情感偏差, - 视觉语义人工智能中的标记性
通过评估 CLIP 模型的性别、种族和年龄标记偏见,我们发现 CLIP 在白人个体上更容易选择人这个标签而不是种族或者性别标记,同时在男性个体上更倾向于性别标记而非年龄标记,表明其训练数据存在语言和社会偏见。
- EMNLPRACE:基于检索增强的提交信息生成
本文提出了一种新的检索增强的神经提交信息生成方法 RACE,利用检索得到的类似提交信息作为样本,并利用它生成准确的提交信息。同时,作者还提出了一个范例导向器,它可以学习检索与当前代码差异的语义相似性,然后根据相似性指导提交消息的生成。实验结 - ICCV揭示图像扭曲对预训练人脸识别模型预测偏差的影响
本文旨在探讨预训练模型在输入图像扭曲时是否会出现偏向性。通过对四个深度人脸识别模型在图像扭曲下不同性别和种族子群的表现进行系统分析,我们发现图像扭曲与模型在不同子群之间的性能差距存在关联。
- ACL自然语言处理中种族、种族主义和反种族主义综述
通过调查 ACL 文献集中涉及种族的 79 篇论文,发现 NLP 模型开发各阶段都存在各种类型的种族相关偏见,并强调需要积极考虑如何维护种族等级制度,但在种族和 NLP 研究方面仍存在缺口:将种族作为固定单一维度变量运作,对历史上种族歧视造 - AAAI学生成绩预测中的公平性和算法公正
本研究以高等教育成绩预测为例,试图通过几种算法平衡策略,特别是对标签和示例进行平衡,试图最小化算法与种族之间的差异,提出了一种对抗学习方法,相对公平;此外,对历史上受到服务不足的群体进行样本抽取,能够最大程度地提高预测性能。同时,我们的研究 - WWW维基百科传记中社会偏见的受控分析
本文介绍了一种分析 Wikipedia 页面的方法,以研究社会偏见对公众舆论的可能影响,结果表明社会偏见具有可疑性,不为协变量控制可能导致不同的结论和偏见。
- EMNLP无监督多选题回答:从基础知识开始学习
本文研究了几乎无监督的多项选择题回答(MCQA)的可能性,从非常基本的知识开始,MCQA 模型知道某些选择的正确概率比其他选择更高,提出的方法在 RACE 上胜过基准方法,并且与一些监督学习方法在 MC500 上相当。
- 观察性研究中歧视的因果框架
该研究研究了针对歧视的研究中,如何测量种族和性别在结果中的因果效应,以及可能影响测量结果的潜在偏差,并提出了一个基于忽略性假设的研究方法,在一个大型县的检察机构的充公决策数据中进行了模拟剖析
- ACL词嵌入何时能准确反映我们对人们的信念调查结果?
本文研究了公开可得的单词嵌入在某些社会层面上的偏见反映了实际调查数据,但并非所有维度的数据都能得到反映,只有最显著的偏见维度,例如性别方面,才能得到准确的反映。
- 词嵌入联合多类别去偏置
本文提出了一种联合多类去偏差方法 SoftWEAT,它可以在减少多个偏差方面取得良好的结果,并通过在三个不同的公开数据集上进行实验,在三个偏差分类(宗教、性别和种族)中去偏差 Word Embeddings,显示出其可行性,同时维持着词嵌入 - 算法公平性中批判性种族方法的探索
本文探讨算法公平框架中如何采纳种族和种族范畴,认为目前的方法未能充分考虑种族的社会构造性质,指出需要理解种族具有的多维性、关注种族不平等的社会过程,并关注最受社会技术系统影响的人的观点。
- 机器学习中的种族分类
通过在群体公平干预之前采用无监督学习来动态检测隔离模式,机器学习系统可以减轻社会差距,社会分离和分层的根源,而不进一步锚定劣势状态类别。
- EMNLPRACE: 大规模考试阅读理解数据集
RACE 是一个用于中学生阅读理解任务评估的新数据集,由近 28,000 个人类专家(英语教师)生成的近 100,000 个问题组成,涵盖了各种主题,特别是对推理的要求比其他基准数据集要高,是研究和评估机器理解的有价值的资源。
- Twitter 上 #greysanatomy 与 #yankees 的人口统计和 hashtag 使用情况
本研究使用面部分析软件从 350K 纽约 Twitter 用户的个人形象中推断性别、年龄和种族,并研究了 2014 年 11 月 1 日至 2015 年 10 月 31 日期间不同人口统计学群体使用的标签。