真相发现算法中的公平性和偏见：实验分析

Apr, 2023

真相发现算法中的公平性和偏见：实验分析

Fairness and Bias in Truth Discovery Algorithms: An Experimental Analysis

Simone Lazier, Saravanan Thirumuruganathan, Hadis Anahideh

TL;DR本文通过对两个人群标签数据集的系统研究发现，群体中存在个体提供有偏差的结果，采用简单的真值发现方法是次优的。同时，流行的真值发现算法并非万能，传统的公平性实现方法和纠正标签偏差的方法在这种情况下也无效。因此本文恳请设计新颖的具有偏差意识的真值发现算法来缓和这些问题。

Abstract

machine learning (ML) based approaches are increasingly being used in a number of applications with societal impact. Training ML models often require vast amounts of labeled data, and crowdsourcing is a dominant

machine learning crowdsourcing truth discovery bias fairness

发现论文，激发创造

一个众包平台上的机器学习模型是否会表现出偏见？模型公正性的实证研究

本文展示了在真实世界中基于 40 个高评分 Kaggle 模型的公平性评估及其 7 种缓解技术的实证研究。结果发现，部分优化技术会导致模型失公，尽管机器学习库中有公平控制机制，但这些机制未被记录。最佳的降低失公的方法往往存在权衡和代价.

May, 2020

公平性概念及相关紧张关系综述

本文旨在调查研究自动化决策系统中机器学习算法存在的偏差及其与公平、隐私和分类准确性之间的关系，并综述了处理公平 - 准确性权衡的不同方法。作者通过实验分析了公平度量和准确度在现实世界场景中的关系。

Sep, 2022

用于在线部署适用的真实推断算法验证数据集

通过收集真实世界众包平台上的大量数据样本，本文分析了数据集的特征并评估了几种代表性真实标签推断算法的有效性，为跟踪不同类型任务下工作者的能力随时间变化以及增强在线真实标签推断提供了启示。

Mar, 2024

通过模型和数据偏差交互理解欺诈检测中的不公平性

机器学习算法应用广泛，但也可能存在偏见和不公平。本研究提出了一种刻画数据偏见的分类法，并探究了算法的不公平和精度之间的权衡。实证研究表明，在不同的数据偏见设置下，算法的公平性和精度会受到不同的影响，而简单的预处理干预技术可以提高算法的公平性。

Jul, 2022

大规模真相推断：Bayesian 模型用于裁决高度冗余的众包注释

本文提出了一种基于贝叶斯图形模型的技术，用于有效地处理高度冗余注释数据，相比于多数真实推断模型，我们的方法得出了更优质的结果。

Feb, 2019

公平性对于最优传输的边缘预测

本文主要研究了图中预测任务的算法公正问题，提出了一种嵌入不可知的修复过程以实现组内和个体的公正权衡，并在实验中验证了该方法对不同公正概念和预测准确性的显式控制能力。

Oct, 2020

众包中的批准投票和激励

本文介绍了一种利用批准投票和合适的激励机制来提高众包数据标注质量的方法，并通过理论与实证的研究验证了该方法的优越性。

Feb, 2015

算法公平度 - 准确性权衡研究中的突发不公

该文探讨了机器学习中的公平性与准确性的权衡以及该领域中存在的数学假设，认为这些假设可能导致不一致的结论和潜在的不公平性，并提出了解决方案。

Feb, 2021

公平且无偏的算法决策制定：现状与未来挑战

机器学习算法应用于如信贷贷款或刑法司法等关乎人类生活方面的情境，其所基于的数据若含有人类偏见决策，则会产生人类偏见决策，拥有公平观念的机器学习是一种解决方案，但是如何实现公平面临着 “多维面” 等难题，要想在不同领域实现公平、公正，算法必须做到数据和开发者审查的透明化，在此基础上不断进行公平审计。

Jan, 2019

令人沮丧的简单真相发现

本文研究了一种简单的启发式方法来估计工人的能力，使用平均接近度来区分高质量和低质量的工人以及证明了这种方法在广泛的领域和统计模型中能够很好地估计实际能力水平，并且在众包平台上按照工人的平均接近度加权会显著提高聚合结果。该简单的估计是具有恒定正则化因子的 MLE 中的唯一解，在高斯噪声下表现出色。

May, 2019