Aug, 2023

基于机器学习的科学报告标准

PDF
TL;DR机器学习方法在科学研究中越来越普及，然而，这些方法的应用也伴随着有效性、可重复性和泛化性的失败。为了解决这些问题，本研究提出了基于共识的 REFORMS 检查表，该检查表由来自计算机科学、数据科学、数学、社会科学和生物医学科学等 19 名研究人员共同开发，可以成为科研人员设计和实施研究、审查论文的裁判和期刊执行透明度和可重复性标准时的一个资源。
发现论文，激发创造
  • 机器学习科学中的泄漏与再现危机

    通过调查 ML 方法在 17 个领域中被广泛采用的文献，我们系统地调查了 ML 方法在科学研究中的可重复性问题，并发现数据泄漏确实是一个普遍存在的问题，并提出了模型信息表来报告基于 ML 模型的科学主张，以便在发布前发现泄漏情况，并进行了模拟实验，发现所有声称复杂的 ML 模型在文献中都未能复制，并且与几十年前的 Logistic 回归模型相比，复杂的 ML 模型并没有表现出更好的效果。

    Jul, 2022

  • mlscorecheck：测试机器学习中报告的性能分数和实验的一致性

    通过验证报告的实验结果来解决人工智能中的可复现性危机是一项具有挑战性的任务，为了促进对报告结果的验证，我们开发了数值技术，能够识别在机器学习问题中，包括二元 / 多类别分类和回归分析中，报告的性能得分与各种实验设置之间的不一致性，这些一致性测试已集成到开源软件 mlscorecheck 中，该软件还提供了专门设计用于检测不同领域中经常出现的缺陷的测试包，如视网膜图像处理和合成少数类过采样。

    Nov, 2023

  • Deriva-ML: 一种连续的 FAIRness 方法用于可重复机器学习模型

    提出了一种基于 FAIR 原则的数据管理工具架构和实现，通过两个案例展示了如何利用这些工具提高基于机器学习的科学研究的质量。

    Jun, 2024

  • 提高机器学习研究的可重复性 (来自 NeurIPS 2019 可重复性计划的报告)

    本文介绍了 2019 年 NeurIPS 会议针对机器学习研究推出的可重复性计划，包括代码提交政策、全社区可重复性挑战和将机器学习可重复性清单作为论文提交过程的一部分，阐述了每个组件的部署以及我们从这个计划中学到了什么。

    Mar, 2020

  • 机器学习驱动研究的可重现性

    面对研究的可重复性危机，机器学习和人工智能研究也面临同样的问题。虽然研究社区已经提出了不同的解决方案如使用机器学习平台，但机器学习驱动的研究的可重复性水平并没有显著提高。本文通过综述相关文献，讨论机器学习驱动研究中的可重复性问题和障碍，并探索工具、实践和干预等潜在驱动因素，提供对于支持机器学习可重复性的不同解决方案可行性的决策支持。

    Jul, 2023

  • 关于科学数据在机器学习中的公平透明使用准备情况

    通过分析 4041 篇不同领域的数据论文，本研究提出了一套建议指南，旨在增加数据的准备性，确保其在机器学习技术中的透明和公正使用。

    Jan, 2024

  • 机器学习流水线：来源追溯性、可重现性和 FAIR 数据原则

    本文介绍了支持机器学习流程端到端可重复性的目标和初步步骤，探讨了除源代码和数据集可用性之外影响机器学习实验证明性的因素，并提出了将 FAIR 数据实践应用于机器学习流程的方法。文中将 ProvBook 作为工具，分析了 Jupyter Notebooks 捕捉和比较机器学习实验及其可重复性的初步结果。

    Jun, 2020

  • 机器学习在医疗保健中的可重复性

    本文通过对 100 多篇机器学习应用于人类健康领域的研究论文进行系统评估，发现相较于其他机器学习领域，该领域在数据和代码可获取性等可重复性方面表现较差，因此提出了对数据提供者、学术出版商和 ML4H 研究社区的建议，以促进可重复性研究的发展。

    Jul, 2019

  • 机器学习科学中的科学方法

    本文讨论了将深度学习与科学相结合以解决机器学习系统中的严谨性、安全性和可解释性的问题，并提出了关键缺失的假设和测试阶段以及统计和系统不确定性估计。同时，探讨了当前科学在其他领域中的应用，为机器学习研究人员提供了一些有用的实践建议。

    Apr, 2019

  • 机器学习研究中的可重复性：概述、障碍和推动因素

    我们讨论了机器学习驱动研究的可重复性问题，包括了障碍和驱动因素，旨在为决策制定提供有关采用不同解决方案支持机器学习可重复性的见解和贡献。

    Jun, 2024