Apr, 2024

人工智能与机器学习研究中的可重复性是什么？

HTML
PDF
TL;DR在人工智能（AI）和机器学习（ML）这个快速发展的领域中，再现性危机突显出需要清晰的验证方法论以保持科技完整性并促进进步的紧迫性。作为应对挑战，我们引入了一个验证框架，明确了关键验证工作的角色和定义，包括可重复性、依赖和独立再现性以及直接和概念可复制性。这个结构化框架旨在为AI/ML研究人员提供有关这些基本概念的必要明晰度，从而促进适当的验证研究设计、实施和解释。通过阐明每种类型验证研究的细微差别和特定角色，我们希望为更加深入和有系统地应对再现性挑战的方法贡献力量，从而支持社区努力提高其研究结果的可靠性和可信度。
发现论文，激发创造
  • 提高机器学习研究的可重复性 (来自 NeurIPS 2019 可重复性计划的报告)

    本文介绍了2019年 NeurIPS 会议针对机器学习研究推出的可重复性计划，包括代码提交政策、全社区可重复性挑战和将机器学习可重复性清单作为论文提交过程的一部分，阐述了每个组件的部署以及我们从这个计划中学到了什么。

    Mar, 2020

  • 机器学习流水线：来源追溯性、可重现性和FAIR数据原则

    本文介绍了支持机器学习流程端到端可重复性的目标和初步步骤，探讨了除源代码和数据集可用性之外影响机器学习实验证明性的因素，并提出了将FAIR数据实践应用于机器学习流程的方法。文中将ProvBook作为工具，分析了Jupyter Notebooks捕捉和比较机器学习实验及其可重复性的初步结果。

    Jun, 2020

  • 机器学习科学中的泄漏与再现危机

    通过调查ML方法在17个领域中被广泛采用的文献，我们系统地调查了ML方法在科学研究中的可重复性问题，并发现数据泄漏确实是一个普遍存在的问题，并提出了模型信息表来报告基于ML模型的科学主张，以便在发布前发现泄漏情况，并进行了模拟实验，发现所有声称复杂的ML模型在文献中都未能复制，并且与几十年前的Logistic回归模型相比，复杂的ML模型并没有表现出更好的效果。

    Jul, 2022

  • 机器学习研究的推断可再现性

    本研究探讨了机器学习模型评估的可靠性，提出了使用线性混合效应模型的方法，以分析性能评估分数，并使用广义似然比检验进行统计推断。同时，本文还探讨了数据属性与算法噪声因素之间的相互作用，以及噪声源对整体方差的贡献和可靠性系数的计算方法。

    Feb, 2023

  • 机器学习的可重复性: 术语、建议和开放问题

    本文回顾了当前关于Artificial Intelligence的可重复性的文献，并强调了未解决的问题。作者提出了一些建议来提高模型重复性，特别是涉及生物医学和物理人工智能领域的问题。

    Feb, 2023

  • 表格结构识别方法的可重现性和可复制性研究

    本文考察了人工智能表格结构识别领域中16篇已发表论文的可重现性和可复制性，通过使用原始作者提供的代码和数据集尝试复现其结果，并采用类似数据集和新数据集进行复制性检查，检验结果表明只有其中4篇论文的结果与原始相符，其中2篇论文的可复制性可在一定IoU值下得到证实，新数据集没有证实任何论文的可复制性。

    Apr, 2023

  • 机器学习驱动研究的可重现性

    面对研究的可重复性危机，机器学习和人工智能研究也面临同样的问题。虽然研究社区已经提出了不同的解决方案如使用机器学习平台，但机器学习驱动的研究的可重复性水平并没有显著提高。本文通过综述相关文献，讨论机器学习驱动研究中的可重复性问题和障碍，并探索工具、实践和干预等潜在驱动因素，提供对于支持机器学习可重复性的不同解决方案可行性的决策支持。

    Jul, 2023

  • 从模型性能到声明：机器学习可复现性的焦点转变如何帮助弥合责任鸿沟

    通过将模型性能可复制性转变为主张可复制性，可以使机器学习科学家对产生不可复制的主张负责并对其造成的滥用和误解负责，从而缩小责任差距。

    Apr, 2024

  • 机器学习研究中的可重复性：概述、障碍和推动因素

    我们讨论了机器学习驱动研究的可重复性问题，包括了障碍和驱动因素，旨在为决策制定提供有关采用不同解决方案支持机器学习可重复性的见解和贡献。

    Jun, 2024

  • 人工智能研究不是魔法，必须可重复和负责任：来自博士生视角的人工智能领域挑战

    本研究关注欧洲人工智能博士生在研究中面临的挑战，调查了13个欧洲国家的28名AI博士候选人。研究发现，学生在数据集和实验资源的可获取性、复制实验的困难以及可信度和跨学科合作不足等方面遇到了挑战，急需采取负责任和可重复的研究实践，以提升AI研究的质量和可信度。

    Aug, 2024