Nov, 2023

mlscorecheck：测试机器学习中报告的性能分数和实验的一致性

PDF
TL;DR通过验证报告的实验结果来解决人工智能中的可复现性危机是一项具有挑战性的任务，为了促进对报告结果的验证，我们开发了数值技术，能够识别在机器学习问题中，包括二元 / 多类别分类和回归分析中，报告的性能得分与各种实验设置之间的不一致性，这些一致性测试已集成到开源软件 mlscorecheck 中，该软件还提供了专门设计用于检测不同领域中经常出现的缺陷的测试包，如视网膜图像处理和合成少数类过采样。
reproducibility crisisvalidationexperimental resultsnumerical techniquesconsistency tests
发现论文，激发创造
  • 测试二元分类问题的性能得分的一致性

    在本文中，我们引入了一种数值技术来评估报告的性能分数和假设的实验设置的一致性，通过三个与医学相关的应用程序，我们展示了这种方法如何有效地检测不一致性，从而保护研究领域的完整性。

    Oct, 2023

  • 机器学习研究的推断可再现性

    本研究探讨了机器学习模型评估的可靠性，提出了使用线性混合效应模型的方法，以分析性能评估分数，并使用广义似然比检验进行统计推断。同时，本文还探讨了数据属性与算法噪声因素之间的相互作用，以及噪声源对整体方差的贡献和可靠性系数的计算方法。

    Feb, 2023

  • 基于机器学习的科学报告标准

    机器学习方法在科学研究中越来越普及，然而，这些方法的应用也伴随着有效性、可重复性和泛化性的失败。为了解决这些问题，本研究提出了基于共识的 REFORMS 检查表，该检查表由来自计算机科学、数据科学、数学、社会科学和生物医学科学等 19 名研究人员共同开发，可以成为科研人员设计和实施研究、审查论文的裁判和期刊执行透明度和可重复性标准时的一个资源。

    Aug, 2023

  • 机器学习系统可靠性的整体评估

    该研究提出了一个综合评估机器学习系统可靠性的方法，侧重考虑诸如敌对攻击、性能下降以及算法技术等方面的问题，并对 500 多个模型进行了分析，为未来的研究和发展提供了指导。

    Jul, 2023

  • 比较单个性能得分并不能得出关于机器学习方法的结论

    本文研究了模型性能评估方法的可靠性问题，并探讨了仅基于分割数据集评估模型性能的评估方法存在的缺陷。作者提出了基于分数分布的评估方法来代替传统评估方法。

    Mar, 2018

  • 对大型多模态模型进行常见冲突的基准测试

    填补大型多模型（LMMs）评估中的不足，通过研究其输出在常见破坏情况下的自一致性，调查文本、图像和语音之间的跨模态交互，创建了一个综合性基准 MMCbench，评估了 100 多个受欢迎的 LMMs（共 150 个模型检查点），此全面评估对于实际部署至关重要，并有助于更好地了解顶尖 LMMs 的可靠性。

    Jan, 2024

  • MLPerf 训练基准测试

    MLPerf 是一个机器学习基准测试，用于量化评估训练性能和可扩展性，解决了优化训练、随机性和系统差异等挑战。

    Oct, 2019

  • 在大规模可靠机器学习中的随机性与任意性之间：一些教训

    可靠度的强大测量是机器学习、法律和政策研究领域的重要课题，其中关键问题包括可靠度测量的设计准则、大规模和实践中的测量方法，以及与同一研究愿景相关的不同学科所涉及的研究问题。

    Jun, 2024

  • 测量机器学习系统的能力并确保可靠性

    本文研究环境条件对机器学习代理的能力的影响以及实时能力评估如何提高 ML 代理的可靠性。我们学习了一个条件表示，这个表示能够影响 ML 代理的策略和性能，从而能够确定 ML 代理在模拟自驾车的障碍 Avoidance 任务中使用视觉图像维护操作员期望的行动。

    Dec, 2022

  • 机器学习科学中的泄漏与再现危机

    通过调查 ML 方法在 17 个领域中被广泛采用的文献，我们系统地调查了 ML 方法在科学研究中的可重复性问题，并发现数据泄漏确实是一个普遍存在的问题，并提出了模型信息表来报告基于 ML 模型的科学主张，以便在发布前发现泄漏情况，并进行了模拟实验，发现所有声称复杂的 ML 模型在文献中都未能复制，并且与几十年前的 Logistic 回归模型相比，复杂的 ML 模型并没有表现出更好的效果。

    Jul, 2022