Jun, 2024

机器学习研究中的可重复性：概述、障碍和推动因素

PDF
TL;DR我们讨论了机器学习驱动研究的可重复性问题，包括了障碍和驱动因素，旨在为决策制定提供有关采用不同解决方案支持机器学习可重复性的见解和贡献。
reproducibilitymachine learningml-driven researchbarriersdrivers
发现论文，激发创造
  • 机器学习驱动研究的可重现性

    面对研究的可重复性危机，机器学习和人工智能研究也面临同样的问题。虽然研究社区已经提出了不同的解决方案如使用机器学习平台，但机器学习驱动的研究的可重复性水平并没有显著提高。本文通过综述相关文献，讨论机器学习驱动研究中的可重复性问题和障碍，并探索工具、实践和干预等潜在驱动因素，提供对于支持机器学习可重复性的不同解决方案可行性的决策支持。

    Jul, 2023

  • 机器学习中的不可重复性来源：综述

    机器学习中模型比较中存在的不可重现性问题及其来源进行分析，发现研究文献中存在多个已知的不可重现性问题，导致很多研究结果无法得到验证，提出了三个值得深入探究的方向。

    Apr, 2022

  • 机器学习的可重复性：术语、建议和开放问题

    本文回顾了当前关于 Artificial Intelligence 的可重复性的文献，并强调了未解决的问题。作者提出了一些建议来提高模型重复性，特别是涉及生物医学和物理人工智能领域的问题。

    Feb, 2023

  • 提高机器学习研究的可重复性 (来自 NeurIPS 2019 可重复性计划的报告)

    本文介绍了 2019 年 NeurIPS 会议针对机器学习研究推出的可重复性计划，包括代码提交政策、全社区可重复性挑战和将机器学习可重复性清单作为论文提交过程的一部分，阐述了每个组件的部署以及我们从这个计划中学到了什么。

    Mar, 2020

  • 机器学习科学中的泄漏与再现危机

    通过调查 ML 方法在 17 个领域中被广泛采用的文献，我们系统地调查了 ML 方法在科学研究中的可重复性问题，并发现数据泄漏确实是一个普遍存在的问题，并提出了模型信息表来报告基于 ML 模型的科学主张，以便在发布前发现泄漏情况，并进行了模拟实验，发现所有声称复杂的 ML 模型在文献中都未能复制，并且与几十年前的 Logistic 回归模型相比，复杂的 ML 模型并没有表现出更好的效果。

    Jul, 2022

  • 机器学习流水线：来源追溯性、可重现性和 FAIR 数据原则

    本文介绍了支持机器学习流程端到端可重复性的目标和初步步骤，探讨了除源代码和数据集可用性之外影响机器学习实验证明性的因素，并提出了将 FAIR 数据实践应用于机器学习流程的方法。文中将 ProvBook 作为工具，分析了 Jupyter Notebooks 捕捉和比较机器学习实验及其可重复性的初步结果。

    Jun, 2020

  • 训练可复现的深度学习模型

    本文提出了一种系统的方法来训练可重复的深度学习模型，该方法包括评估标准，统一的框架和可重复性指南，能够在不同领域成功复现多个深度学习模型。

    Feb, 2022

  • 可复现性需要一致的实物

    机器学习存在严重的 ' 可重复性危机 '，本文通过对 ReScience C 的 142 个复制研究和 204 个代码库进行元分析，发现缺少实验细节如超参数可能是可重复性差的潜在原因。文章实验表明，不同的超参数选择策略会产生偏差，并得出一个统一框架的集成物能够帮助支持可重复性。

    May, 2023

  • 机器学习在医疗保健中的可重复性

    本文通过对 100 多篇机器学习应用于人类健康领域的研究论文进行系统评估，发现相较于其他机器学习领域，该领域在数据和代码可获取性等可重复性方面表现较差，因此提出了对数据提供者、学术出版商和 ML4H 研究社区的建议，以促进可重复性研究的发展。

    Jul, 2019

  • 深度学习软件故障预测的可复现性研究

    分析软件工程领域的软件错误预测是否存在与其他机器学习领域相似的可复现性问题，发现大部分研究文章缺乏关键的复现元素，呼吁改进研究实践以确保基于机器学习的研究的可复现性。

    Feb, 2024