机器学习在社会科学中是否存在不安全和不负责任的问题?从再犯预测任务出发的悖论和重新思考
针对风险评估的核心伦理辩论不仅仅是偏差或准确性的问题,而是目的的问题。机器学习不应用于预测,而是用于发现进入因果模型的协变量,以了解犯罪的社会,结构和心理驱动因素。我们提出了一种机器学习和因果推断的替代应用,从预测风险分数转向风险缓解。
Dec, 2017
机器学习在信任与安全问题中的应用存在研究和实践之间的脱节,以误信息检测为案例研究,我们系统化了 270 篇领域内有广泛引用的文献,并对其中的数据和代码可用性、设计失误、可重现性和普适性进行了检查。我们发现文献中存在显著的不足之处,对所声称的性能和实用性提出了质疑。检测任务往往与在线服务面临的挑战有实质性区别。数据集和模型评估往往不代表现实世界环境,评估通常也与模型训练不独立。数据和代码的可用性较差,模型在领域外的数据上泛化效果不佳。基于这些结果,我们提出了评估解决信任与安全问题的机器学习应用的建议,希望未来的研究能避免我们所识别的问题。
Aug, 2023
本文研究了在社交计算领域,针对 Twitter 数据执行 ML 分类任务,是否具有遵循模板的最佳实践方法,结果显示,大多数人都没有遵循规则,从而导致数据不可靠。
Dec, 2019
这篇文章介绍了机器学习中的社会偏见和公平性问题,总结了预处理、处理和后处理等多种方法,包含二分类、回归、推荐系统、无监督学习和自然语言处理等多个方面,同时提供了多个开源库。最后,列举了公平性研究的四个难题。
Oct, 2020
本文提出了一种新的机器学习算法设计框架,通过此框架可以简化机器学习算法不良行为的规定和规范,并使用该框架创建了一些新的机器学习算法来防止标准机器学习算法展现性别歧视和有害行为。该框架可以确保机器学习算法的安全和负责任应用。
Aug, 2017
本文回顾了行为和社会科学领域以及 DARPA SCORE 项目中使用的方法,特别关注人类预测复制结果的作用,以及预测如何利用相对劳动力和资源密集的复制所获得的信息。探讨了使用这些方法来监测和改进计算机科学,人工智能和机器学习领域中研究可信度的机会和挑战。
May, 2020
探讨机器学习算法公平性如何在预测任务中被正式化,并提供相应的社会科学文献中分配公正的概念,通过理论和实证批判这些概念,并解释这些批判如何限制相应公平正式化的适用性和讨论潜在公平正式化的路径。
Oct, 2017
本文基于社会科学和数据科学的交叉领域,探讨了机器学习在应对在线谣言方面的正反两方面影响,剖析了机器学习模型开发中的算法特征,提出了未来的发展方向和对于算法的条理性和责任性。
Oct, 2022
该研究论文使用面部图像进行犯罪的自动推断,并强调 AI 研究的监管和重要性,但作者对一些媒体对研究动机和目的的错误解读感到困惑。
Nov, 2016