Jun, 2020

机器学习流水线：来源追溯性、可重现性和 FAIR 数据原则

PDF
TL;DR本文介绍了支持机器学习流程端到端可重复性的目标和初步步骤，探讨了除源代码和数据集可用性之外影响机器学习实验证明性的因素，并提出了将 FAIR 数据实践应用于机器学习流程的方法。文中将 ProvBook 作为工具，分析了 Jupyter Notebooks 捕捉和比较机器学习实验及其可重复性的初步结果。
machine learningreproducibility crisisfair data practicesprovenancejupyter notebooks
发现论文，激发创造
  • Deriva-ML: 一种连续的 FAIRness 方法用于可重复机器学习模型

    提出了一种基于 FAIR 原则的数据管理工具架构和实现，通过两个案例展示了如何利用这些工具提高基于机器学习的科学研究的质量。

    Jun, 2024

  • 机器学习驱动研究的可重现性

    面对研究的可重复性危机，机器学习和人工智能研究也面临同样的问题。虽然研究社区已经提出了不同的解决方案如使用机器学习平台，但机器学习驱动的研究的可重复性水平并没有显著提高。本文通过综述相关文献，讨论机器学习驱动研究中的可重复性问题和障碍，并探索工具、实践和干预等潜在驱动因素，提供对于支持机器学习可重复性的不同解决方案可行性的决策支持。

    Jul, 2023

  • 机器学习研究中的可重复性：概述、障碍和推动因素

    我们讨论了机器学习驱动研究的可重复性问题，包括了障碍和驱动因素，旨在为决策制定提供有关采用不同解决方案支持机器学习可重复性的见解和贡献。

    Jun, 2024

  • 通过可复制性教授人工智能公正性、问责性、保密性和透明度

    本文介绍了阿姆斯特丹大学关于应用可重现性来教授公正、问责、机密和透明的人工智能课程，通过学生论文组和竞赛的形式，将理论和实践知识有机结合，并提出了相关授课指导方针。

    Nov, 2021

  • 提高机器学习研究的可重复性 (来自 NeurIPS 2019 可重复性计划的报告)

    本文介绍了 2019 年 NeurIPS 会议针对机器学习研究推出的可重复性计划，包括代码提交政策、全社区可重复性挑战和将机器学习可重复性清单作为论文提交过程的一部分，阐述了每个组件的部署以及我们从这个计划中学到了什么。

    Mar, 2020

  • 关于科学数据在机器学习中的公平透明使用准备情况

    通过分析 4041 篇不同领域的数据论文，本研究提出了一套建议指南，旨在增加数据的准备性，确保其在机器学习技术中的透明和公正使用。

    Jan, 2024

  • 机器学习的可重复性：术语、建议和开放问题

    本文回顾了当前关于 Artificial Intelligence 的可重复性的文献，并强调了未解决的问题。作者提出了一些建议来提高模型重复性，特别是涉及生物医学和物理人工智能领域的问题。

    Feb, 2023

  • 机器学习科学中的泄漏与再现危机

    通过调查 ML 方法在 17 个领域中被广泛采用的文献，我们系统地调查了 ML 方法在科学研究中的可重复性问题，并发现数据泄漏确实是一个普遍存在的问题，并提出了模型信息表来报告基于 ML 模型的科学主张，以便在发布前发现泄漏情况，并进行了模拟实验，发现所有声称复杂的 ML 模型在文献中都未能复制，并且与几十年前的 Logistic 回归模型相比，复杂的 ML 模型并没有表现出更好的效果。

    Jul, 2022

  • 可复现性需要一致的实物

    机器学习存在严重的 ' 可重复性危机 '，本文通过对 ReScience C 的 142 个复制研究和 204 个代码库进行元分析，发现缺少实验细节如超参数可能是可重复性差的潜在原因。文章实验表明，不同的超参数选择策略会产生偏差，并得出一个统一框架的集成物能够帮助支持可重复性。

    May, 2023

  • 可验证的、可复制的和可重现的经验型机器学习研究的设计原则

    通过提出一种供应用于实证研究的模型和指南，旨在减少机器学习领域中研究实践的差异性，建立统一的质量标准，提高实证研究的一致性、可靠性和影响力。

    May, 2024