提高机器学习研究的可重复性 (来自 NeurIPS 2019 可重复性计划的报告)

Mar, 2020

提高机器学习研究的可重复性 (来自 NeurIPS 2019 可重复性计划的报告)

Improving Reproducibility in Machine Learning Research (A Report from the NeurIPS 2019 Reproducibility Program)

Joelle Pineau, Philippe Vincent-Lamarre, Koustuv Sinha, Vincent Larivière, Alina Beygelzimer...

TL;DR本文介绍了 2019 年 NeurIPS 会议针对机器学习研究推出的可重复性计划，包括代码提交政策、全社区可重复性挑战和将机器学习可重复性清单作为论文提交过程的一部分，阐述了每个组件的部署以及我们从这个计划中学到了什么。

Abstract

One of the challenges in machine learning research is to ensure that presented and published results are sound and reliable. reproducibility, that is obtaining similar results as presented in a paper or talk, usi

machine learning reproducibility neurips code submission policy checklist

发现论文，激发创造

机器学习驱动研究的可重现性

面对研究的可重复性危机，机器学习和人工智能研究也面临同样的问题。虽然研究社区已经提出了不同的解决方案如使用机器学习平台，但机器学习驱动的研究的可重复性水平并没有显著提高。本文通过综述相关文献，讨论机器学习驱动研究中的可重复性问题和障碍，并探索工具、实践和干预等潜在驱动因素，提供对于支持机器学习可重复性的不同解决方案可行性的决策支持。

Jul, 2023

机器学习的可重复性：术语、建议和开放问题

本文回顾了当前关于 Artificial Intelligence 的可重复性的文献，并强调了未解决的问题。作者提出了一些建议来提高模型重复性，特别是涉及生物医学和物理人工智能领域的问题。

Feb, 2023

机器学习研究中的可重复性：概述、障碍和推动因素

我们讨论了机器学习驱动研究的可重复性问题，包括了障碍和驱动因素，旨在为决策制定提供有关采用不同解决方案支持机器学习可重复性的见解和贡献。

Jun, 2024

自然语言处理可重现性研究的系统综述

研究了自然语言处理领域内可重复性的困境，探索了不同声音和共通点。

Mar, 2021

自然语言处理中的可重复性：清单告诉我们了什么？

本文通过分析 NLP 可重复性核对清单，发现清单的发布提升了 NLP 论文关于效率、验证性能、汇总统计和超参数等关键信息的披露率，且论文被接受的概率与符合要求的回复量呈正相关，同时提出了未来会议的一系列改进建议。

Jun, 2023

量化机器学习研究的独立再现性的一步

本研究通过手动尝试实现 1984 年至 2017 年发表的 255 篇文章，记录每篇文章的特征，并对结果进行统计分析，首次尝试寻找可量化的答案，证明代码发布不足以决定文章实现的可复制性。

Sep, 2019

训练可复现的深度学习模型

本文提出了一种系统的方法来训练可重复的深度学习模型，该方法包括评估标准，统一的框架和可重复性指南，能够在不同领域成功复现多个深度学习模型。

Feb, 2022

开源可复制性的警笛之歌

会议为了解决可重复性问题而采取的强制代码提交的做法是片面的，并没有得到有效的证明，因此我们认为会议应该采取更多措施来推进可重复的机器学习研究。

Apr, 2022

深度学习软件故障预测的可复现性研究

分析软件工程领域的软件错误预测是否存在与其他机器学习领域相似的可复现性问题，发现大部分研究文章缺乏关键的复现元素，呼吁改进研究实践以确保基于机器学习的研究的可复现性。

Feb, 2024

机器学习流水线：来源追溯性、可重现性和 FAIR 数据原则

本文介绍了支持机器学习流程端到端可重复性的目标和初步步骤，探讨了除源代码和数据集可用性之外影响机器学习实验证明性的因素，并提出了将 FAIR 数据实践应用于机器学习流程的方法。文中将 ProvBook 作为工具，分析了 Jupyter Notebooks 捕捉和比较机器学习实验及其可重复性的初步结果。

Jun, 2020