数据及其 (不) 内容：机器学习研究中数据集开发与使用调查

Dec, 2020

数据及其 (不) 内容：机器学习研究中数据集开发与使用调查

Data and its (dis)contents: A survey of dataset development and use in machine learning research

Amandalynne Paullada, Inioluwa Deborah Raji, Emily M. Bender, Emily Denton, Alex Hanna

TL;DR本文综述了在机器学习中收集和使用数据的许多问题和担忧，并提倡通过更谨慎和深入的数据理解来解决实践和伦理问题。

Abstract

datasets have played a foundational role in the advancement of machine learning research. They form the basis for the models we design and deploy, as well as our primary medium for benchmarking and evaluation. Furthermore, the ways in which we collect, construct and share these

machine learning datasets data collection algorithm development ethical issues

发现论文，激发创造

AI 竞赛与基准测试：数据集开发

发展机器学习数据集的方法论和实践经验，涵盖数据准备、集合、质量评估等方面。

Apr, 2024

机器学习研究中数据集的生命周期：减少、重复利用和循环利用

本文研究各机器学习子社区在 2015-2020 年期间数据集使用模式的差异，并发现技术社区对越来越少的数据集集中使用，大量采用来自其他任务的数据集，并集中于由少数精英机构研究者推出的数据集，从而对科学评估、人工智能伦理和公平性、以及领域内的平等 / 可接近性产生影响。

Dec, 2021

机器学习数据采集调查：大数据 - AI 集成视角

调查报告探讨机器学习和自然语言处理领域中数据收集的现状和挑战，特别关注数据获取、标注和模型优化三个方面，提供技术选择建议，并指出有待研究的问题。

Nov, 2018

关于具有公平性、隐私和监管规范的负责任机器学习数据集

在当前人工智能时代，本研究讨论了负责任的机器学习数据集的重要性，并提出了一个评估数据集的负责任框架。通过公平性、隐私保护和合规性等方面的考虑，我们分析了超过 100 个数据集，发现没有一个数据集能免于公平性、隐私保护和合规性问题。我们对数据集的文档化提供了改进建议，并认为在全球范围内的数据保护法规定下，科学界的数据集创建方法需要修订。

Oct, 2023

让人民参与进来：争夺基准机器学习数据集

研究了机器学习数据集背后的历史、价值观和规范，以及影响数据收集选择的价值观，并描述了机器学习中基准数据集的运作方式和为这些数据集提出的四个研究问题，从而更好地了解数据构建中的劳动，为研究人员提供新的争论途径。

Jul, 2020

数据集是否存在政治性？计算机视觉数据集开发中的学科价值观

本文采用结构化和主题内容分析研究了计算机视觉数据集的文档记录，强调了计算机视觉数据集作者重视效率、普遍性、客观性和模型工作的做法，而这些做法与社交计算实践相矛盾。研究人员提出了在数据集创建和管理过程中更好地融入这些价值观的建议。

Aug, 2021

机器学习从业者数据文档化的认知、需求、挑战与需求

通过对 14 位机器学习从业者的半结构化访谈，发现目前数据文档化方法在性质上往往是临时性和目光短浅的，因此需要一种适应他们的上下文、与他们现有的工具和工作流程相结合、并在可能的情况下自动完成的数据文档化框架的设计要求，以解决现有文档化方法无法满足其需求的问题。

Jun, 2022

AI 的数据卓越：你为什么应该关心

这篇论文探讨了机器学习模型的有效性，强调了数据的重要性以及对数据进行优化以提高模型效果的必要性，并指出需要将关注点从算法改进转移到数据的优化。

Nov, 2021

关于公平感知机器学习数据集的调查

本文概述了应用于公平感知机器学习中的真实世界数据集，并使用贝叶斯网络分析数据特征之间的关系，进一步进行了探索性分析。

Oct, 2021

神奇的数据及如何查询它们

本文介绍了一个用于不同数据集整合和查询的统一框架，并在计算机视觉数据集中展示了其在不同情景下的优势。

Jan, 2022