Feb, 2023

机器学习的可重复性：术语、建议和开放问题

PDF
TL;DR本文回顾了当前关于 Artificial Intelligence 的可重复性的文献，并强调了未解决的问题。作者提出了一些建议来提高模型重复性，特别是涉及生物医学和物理人工智能领域的问题。
发现论文，激发创造
  • 机器学习驱动研究的可重现性

    面对研究的可重复性危机，机器学习和人工智能研究也面临同样的问题。虽然研究社区已经提出了不同的解决方案如使用机器学习平台，但机器学习驱动的研究的可重复性水平并没有显著提高。本文通过综述相关文献，讨论机器学习驱动研究中的可重复性问题和障碍，并探索工具、实践和干预等潜在驱动因素，提供对于支持机器学习可重复性的不同解决方案可行性的决策支持。

    Jul, 2023

  • 训练可复现的深度学习模型

    本文提出了一种系统的方法来训练可重复的深度学习模型，该方法包括评估标准，统一的框架和可重复性指南，能够在不同领域成功复现多个深度学习模型。

    Feb, 2022

  • 提高机器学习研究的可重复性 (来自 NeurIPS 2019 可重复性计划的报告)

    本文介绍了 2019 年 NeurIPS 会议针对机器学习研究推出的可重复性计划，包括代码提交政策、全社区可重复性挑战和将机器学习可重复性清单作为论文提交过程的一部分，阐述了每个组件的部署以及我们从这个计划中学到了什么。

    Mar, 2020

  • 通过可复制性教授人工智能公正性、问责性、保密性和透明度

    本文介绍了阿姆斯特丹大学关于应用可重现性来教授公正、问责、机密和透明的人工智能课程，通过学生论文组和竞赛的形式，将理论和实践知识有机结合，并提出了相关授课指导方针。

    Nov, 2021

  • 机器学习研究中的可重复性：概述、障碍和推动因素

    我们讨论了机器学习驱动研究的可重复性问题，包括了障碍和驱动因素，旨在为决策制定提供有关采用不同解决方案支持机器学习可重复性的见解和贡献。

    Jun, 2024

  • 可复现性需要一致的实物

    机器学习存在严重的 ' 可重复性危机 '，本文通过对 ReScience C 的 142 个复制研究和 204 个代码库进行元分析，发现缺少实验细节如超参数可能是可重复性差的潜在原因。文章实验表明，不同的超参数选择策略会产生偏差，并得出一个统一框架的集成物能够帮助支持可重复性。

    May, 2023

  • 再现性与几何内在维度：关于图神经网络研究的调查

    机器学习研究中的复制和再现困难已成为近年来一个突出的话题，本研究通过介绍一个机器学习再现性本体论并将其应用于图神经网络方法，评估了研究出版物在支持再现性不同方面的程度，同时探讨了维数灾难这一机器学习中的另一个关键挑战，即数据收集、表示和分析方面的挑战，以及数据集的几何固有维度对机器学习模型的影响程度。

    Mar, 2024

  • 机器学习中的不可重复性来源：综述

    机器学习中模型比较中存在的不可重现性问题及其来源进行分析，发现研究文献中存在多个已知的不可重现性问题，导致很多研究结果无法得到验证，提出了三个值得深入探究的方向。

    Apr, 2022

  • 深度学习软件故障预测的可复现性研究

    分析软件工程领域的软件错误预测是否存在与其他机器学习领域相似的可复现性问题，发现大部分研究文章缺乏关键的复现元素，呼吁改进研究实践以确保基于机器学习的研究的可复现性。

    Feb, 2024

  • 机器学习流水线：来源追溯性、可重现性和 FAIR 数据原则

    本文介绍了支持机器学习流程端到端可重复性的目标和初步步骤，探讨了除源代码和数据集可用性之外影响机器学习实验证明性的因素，并提出了将 FAIR 数据实践应用于机器学习流程的方法。文中将 ProvBook 作为工具，分析了 Jupyter Notebooks 捕捉和比较机器学习实验及其可重复性的初步结果。

    Jun, 2020