fairness evaluation | BriefGPT

关键词fairness evaluation

搜索结果 - 12

公平 LENS：评估执法语音识别中的公平性
为了确保在不同的音响环境中为不同的人群提供公平性，我们建立了一个系统性的公平评估框架，通过一种新颖且适应性强的评估方法来检查不同模型之间的公平差距，并收集了多种情景和人口学维度的公平评估数据集。我们对 1 个开源和 11 个商业化最先进的
PDFa month ago
使用基于词汇表示法来衡量排序列表中的偏差
通过引入 TExFAIR 度量方法，该研究提供了一种新的评估框架，用于衡量文件排名中的性别偏见和公平性，通过基于术语的组表示来评估排名列表中性别偏见的公平性，与现有的评估方法 NFaiRR 有所不同。
PDF4 months ago
ICML缺乏真实情况下提升建模公平性评估
使用替代品来充当反事实标签以解决缺失真实后果问题，从而实现对基于 AI 的自动决策系统中使用提升模型进行公平评估的增强。
PDF5 months ago
利用扩散扰动衡量计算机视觉中的公平性
通过扩散模型生成多个包含不同种族标签的职业图像集，我们发现使用非高加索标签生成的图像的职业错误分类率显著高于使用高加索标签生成的图像，且部分错误分类表明存在种族偏见。通过计算对不同身份群体预测的真实职业标签的概率标准差，我们测量了模型的公平
PDF7 months ago
ChatGPT 的公正性
本文旨在系统评估 ChatGPT 在高风险领域中的表现，并考虑使用有偏或无偏提示时 ChatGPT 输出中的差异，以实现 LLM 的公平性能的深入理解，促进偏见缓解和负责任人工智能系统的发展。
PDFa year ago
衡量和评估讲话方规整度的方法
本研究提出了一个分析讲话者分离公平性的新协议和评分方法，对性别、年龄、口音及发音时长等因素对讲话者分离结果的影响进行了大规模数据集实验，发现讲话者口音和性别会对分离结果产生偏见。
PDFa year ago
使用模板量化社会偏见是不可靠的
研究证明，使用样板评估来量化社会偏见可能不可靠，本文研究了在不破坏语义的情况下手动修改先前工作中使用的模板是否会影响偏见测量的结果，结果显示在四项任务中，模板的修改会使偏见值和相应的结论在不同程度上变化，有增有减，因此，对于 LLMs 的公
PDF2 years ago
关于因果性在公正机器学习中的必要性和适用性
因果推理对于评估公平性至关重要，尤其是自动化决策和合法反歧视程序中。在实践中应用因果关系的挑战和限制以及可能的解决方案也进行了讨论。
PDF2 years ago
fairlib: 评估和提高分类公平性的统一框架
fairlib 是一个开源框架，旨在评估和提高分类公平性，内置 14 种去偏差方法和常用公平性指标，可用于自然语言、图像和音频等多种输入类型的公平性评估。
PDF2 years ago
用于评估仇恨言论识别中人口统计偏见的多语 Twitter 语料库和基准
本研究到了关于文档分类模型公平性评估的现有研究，主要使用无作者人口属性基准事实的合成单语言数据。在该工作中，作者们汇编并发布了一个多语言 Twitter 语料库，用于推断作者的四个人口属性：年龄，国家，性别和种族 / 民族。该语料库涵盖了五
PDF4 years ago
基于因果贝叶斯网络的公平性观点
用因果贝叶斯网络表示数据生成机制中不公平现象，重新审视与 COMPAS 预审风险评估工具相关的公平性问题，并强调在进行模型的公平性评估时需要仔细考虑训练数据中的不公平模式。通过显示因果贝叶斯网络在数据集中提供了衡量不公平性和设计公平模型的强
PDF5 years ago
个性化干预的不平等影响评估：可识别性和界限
该研究讨论了如何在评估个性化干预政策的公平性时使用部分识别 ROC 和 xROC 曲线，前提是满足单调性条件，该方法可以在许多应用中是合理的。
PDF5 years ago