本文提出了一种系统的方法来训练可重复的深度学习模型，该方法包括评估标准，统一的框架和可重复性指南，能够在不同领域成功复现多个深度学习模型。

Feb, 2022

本文对深度神经网络抗对抗攻击的可靠性进行了研究和分析，并提出了目前的防御方法以及相应的理论和实践意义和发现，最后在不同数据集上提供了全面的鲁棒性验证和训练方法。

Sep, 2020

机器学习存在严重的 ' 可重复性危机 '，本文通过对 ReScience C 的 142 个复制研究和 204 个代码库进行元分析，发现缺少实验细节如超参数可能是可重复性差的潜在原因。文章实验表明，不同的超参数选择策略会产生偏差，并得出一个统一框架的集成物能够帮助支持可重复性。

May, 2023

分析软件工程领域的软件错误预测是否存在与其他机器学习领域相似的可复现性问题，发现大部分研究文章缺乏关键的复现元素，呼吁改进研究实践以确保基于机器学习的研究的可复现性。

Feb, 2024

本研究主要探讨如何提高深度强化学习领域中对实验结果的可重现性，为此研究了现有方法的可重现性、实验技术和报告程序，并提出了指导方针以使未来的研究结果更易于重现和解释。

Sep, 2017

面对研究的可重复性危机，机器学习和人工智能研究也面临同样的问题。虽然研究社区已经提出了不同的解决方案如使用机器学习平台，但机器学习驱动的研究的可重复性水平并没有显著提高。本文通过综述相关文献，讨论机器学习驱动研究中的可重复性问题和障碍，并探索工具、实践和干预等潜在驱动因素，提供对于支持机器学习可重复性的不同解决方案可行性的决策支持。

Jul, 2023

采用临床试验评估新药疗效的同时，对医学图像分析领域进行基准测试需要通过挑战赛，然而多个医学图像分析挑战赛的分析表明，其质量控制标准可能存在巨大差异，因此本文针对参与者方法的可复现性问题提出了一个观点，尝试寻找替代性解释并重现算法提交结果，结果表明挑战赛排名可能不够可靠。

Jul, 2023

本文介绍了 2019 年 NeurIPS 会议针对机器学习研究推出的可重复性计划，包括代码提交政策、全社区可重复性挑战和将机器学习可重复性清单作为论文提交过程的一部分，阐述了每个组件的部署以及我们从这个计划中学到了什么。

Mar, 2020

本研究探讨了深度学习错误的可重现性，通过构建数据集、确定可重现性并识别编辑操作和有用信息，最终成功复现了 85 个深度学习错误并提出了十种编辑操作和五种有用信息类别，有效提高了错误的可重现性。

Jan, 2024

本文探讨了强化学习中的无法重现性问题，提出了使用严格规范的评估方法来确保算法之间的公正比较，并强调了选取适当的度量标准和进行合适的统计分析来做出无偏见的结果报告。

Sep, 2019