ICMLNov, 2023

DMLR：数据中心机器学习研究 -- 过去、现在与未来

PDF
TL;DR基于 2023 年 ICML 的 DMLR 研讨会和之前的会议讨论，我们概述了社区参与和基础设施发展对于创建推进机器学习科学的下一代公共数据集的重要性。作为一项集体努力，我们提出了一条前进的道路，以确保这些数据集和方法的持续创建和维护，以实现科学、社会和商业的积极影响。
community engagementinfrastructure developmentpublic datasetsmachine learning sciencecollective effort
发现论文，激发创造
  • 有意义的机器学习

    机器学习的研究应更加关注数据集、评估指标、以及研究结果在学科领域中的传播，作者提出了 6 个目标挑战以促进机器学习的实际应用。

    Jun, 2012

  • 数据及其 (不) 内容：机器学习研究中数据集开发与使用调查

    本文综述了在机器学习中收集和使用数据的许多问题和担忧，并提倡通过更谨慎和深入的数据理解来解决实践和伦理问题。

    Dec, 2020

  • MLSys: 机器学习系统的新前沿

    介绍 ML 系统在实际部署中的难点，并提出在传统系统和 ML 领域交叉的新兴研究方向：ML 系统的硬件和软件实现以及针对预测精度之外的指标进行的 ML 优化，同时介绍了一个新的会议 MLSys。

    Mar, 2019

  • 矩阵流形上的数据协作分析

    通过在矩阵流形上进行优化问题和高效解决方案，本研究为合作函数建立了严格的理论基础，并引入了新的公式，在维护一致性和效率、不损害通信效率或隐私保护的同时，显著提高了性能。

    Mar, 2024

  • REAL ML: 机器学习研究的限制识别、探索和表达

    通过开放研究限制可以提高科学研究的严谨性，确保研究结果的恰当解释，并使研究结果更可信。为了解决机器学习研究社区在揭示和讨论限制方面缺乏规范的情况，我们与 30 位机器学习研究人员进行迭代设计，开发和测试了 REAL ML，这是一组引导活动，可帮助 ML 研究人员识别、探索和表达他们研究的限制。通过三阶段的访谈和调查研究，我们确定了 ML 研究人员对限制的看法，以及他们在识别、探索和阐述限制时面临的挑战。我们开发了 REAL ML 来解决其中一些实际的挑战，并强调了需要更广泛的社区规范才能解决的文化挑战。我们希望我们的研究和 REAL ML 能够推动 ML 研究社区更积极、更恰当地参与限制问题。

    May, 2022

  • 关于科学数据在机器学习中的公平透明使用准备情况

    通过分析 4041 篇不同领域的数据论文，本研究提出了一套建议指南，旨在增加数据的准备性，确保其在机器学习技术中的透明和公正使用。

    Jan, 2024

  • 精益数据科学家：克服数据瓶颈的最新进展

    介绍了如何建立大规模数据集用于机器学习，提出了处理数据瓶颈问题的分类方法，旨在提高社区对这些方法的认识并促进资源的更有效利用。

    Nov, 2022

  • AI 竞赛与基准测试：数据集开发

    发展机器学习数据集的方法论和实践经验，涵盖数据准备、集合、质量评估等方面。

    Apr, 2024

  • 机器学习中异质性交织轴的揭示：迎接民主与包容进步

    本研究探讨了机器学习应用于决策过程中的异质性，提出了价值观、文化和法规、数据组成以及资源和基础设施能力三个因素对 ML 产品轨迹的影响，并强调了需要联合考虑和解决这些因素的必要性。

    Jun, 2023

  • Deriva-ML: 一种连续的 FAIRness 方法用于可重复机器学习模型

    提出了一种基于 FAIR 原则的数据管理工具架构和实现，通过两个案例展示了如何利用这些工具提高基于机器学习的科学研究的质量。

    Jun, 2024