机器学习实证研究的反思：解决实验的认识论和方法论挑战

ICMLMay, 2024

机器学习实证研究的反思：解决实验的认识论和方法论挑战

Position Paper: Rethinking Empirical Research in Machine Learning: Addressing Epistemic and Methodological Challenges of Experimentation

PDF

Moritz Herrmann, F. Julian D. Lange, Katharina Eggensperger, Giuseppe Casalicchio, Marcel Wever...

TL;DR我们警告人们对机器学习领域的经验研究常常存在着一种不完整的理解，这导致实验结果不可复制、发现不可靠，进而威胁到该领域的进展。为了克服这种令人担忧的情况，我们呼吁更多地意识到获得知识的多样性方式以及一些认识论上的限制。特别是，我们认为当前大部分经验机器学习研究实质上是确认性研究，而应该视为探索性研究。

Abstract

We warn against a common but incomplete understanding of empirical research in machine learning (ML) that leads to non-replicable results,

empirical research machine learning non-replicable results plurality of ways exploratory research

发现论文，激发创造

可验证的、可复制的和可重现的经验型机器学习研究的设计原则

通过提出一种供应用于实证研究的模型和指南，旨在减少机器学习领域中研究实践的差异性，建立统一的质量标准，提高实证研究的一致性、可靠性和影响力。

May, 2024

停下来、思考一下：我们想要进行什么样的研究？

在这篇论文中，我们关注元启发式优化领域中实验部分的研究，以及探讨实验在我们工作中的作用，如基准实例与实例生成器的使用，以及经验结果的统计评估，旨在引发对我们工作的真诚批判性评估的思考过程。

Feb, 2024

机器学习学术研究中令人担忧的趋势

本文研究机器学习的研究领域，在探讨了机器学习领域中出现的四种不良趋势的同时，提供了对应的解决方法和可能产生不良趋势的原因。

Jul, 2018

机器学习科学中的科学方法

本文讨论了将深度学习与科学相结合以解决机器学习系统中的严谨性、安全性和可解释性的问题，并提出了关键缺失的假设和测试阶段以及统计和系统不确定性估计。同时，探讨了当前科学在其他领域中的应用，为机器学习研究人员提供了一些有用的实践建议。

Apr, 2019

REAL ML: 机器学习研究的限制识别、探索和表达

通过开放研究限制可以提高科学研究的严谨性，确保研究结果的恰当解释，并使研究结果更可信。为了解决机器学习研究社区在揭示和讨论限制方面缺乏规范的情况，我们与 30 位机器学习研究人员进行迭代设计，开发和测试了 REAL ML，这是一组引导活动，可帮助 ML 研究人员识别、探索和表达他们研究的限制。通过三阶段的访谈和调查研究，我们确定了 ML 研究人员对限制的看法，以及他们在识别、探索和阐述限制时面临的挑战。我们开发了 REAL ML 来解决其中一些实际的挑战，并强调了需要更广泛的社区规范才能解决的文化挑战。我们希望我们的研究和 REAL ML 能够推动 ML 研究社区更积极、更恰当地参与限制问题。

May, 2022

强化学习中的经验设计

本文旨在提出在强化学习中进行良好实验的方法，并强调常见错误和潜在统计结果，覆盖了如何对性能进行妥善表征、假设检验、比较多个代理、基准和说明性例子的构建、如何处理超参数和实验偏差等等，旨在通过充分利用计算资源来进行良好的实证研究。

Apr, 2023

自动决策中偏差的更广视角：从认识论和动态方面反思

本论文探讨了机器学习实践中存在的技术偏见和新出现的偏见，并提出了价值敏感设计方法来重新审视自动决策系统的设计和实施过程。

Jul, 2018

实验研究的普遍适用性

本文提出了实验研究的数学形式化方法，并发展了一个可量化的泛化概念，旨在探索现有研究的泛化性，并估计实现新研究泛化性所需的实验数量，为此我们应用两个最近发表的基准测试来区分可泛化和不可泛化的结果，并发布了一个 Python 模块，可以用于其他实验研究的分析。

Jun, 2024

机器学习研究中的可重复性：概述、障碍和推动因素

我们讨论了机器学习驱动研究的可重复性问题，包括了障碍和驱动因素，旨在为决策制定提供有关采用不同解决方案支持机器学习可重复性的见解和贡献。

Jun, 2024

机器学习驱动研究的可重现性

面对研究的可重复性危机，机器学习和人工智能研究也面临同样的问题。虽然研究社区已经提出了不同的解决方案如使用机器学习平台，但机器学习驱动的研究的可重复性水平并没有显著提高。本文通过综述相关文献，讨论机器学习驱动研究中的可重复性问题和障碍，并探索工具、实践和干预等潜在驱动因素，提供对于支持机器学习可重复性的不同解决方案可行性的决策支持。

Jul, 2023