本文回顾了当前关于 Artificial Intelligence 的可重复性的文献，并强调了未解决的问题。作者提出了一些建议来提高模型重复性，特别是涉及生物医学和物理人工智能领域的问题。

Feb, 2023

本文介绍了支持机器学习流程端到端可重复性的目标和初步步骤，探讨了除源代码和数据集可用性之外影响机器学习实验证明性的因素，并提出了将 FAIR 数据实践应用于机器学习流程的方法。文中将 ProvBook 作为工具，分析了 Jupyter Notebooks 捕捉和比较机器学习实验及其可重复性的初步结果。

Jun, 2020

本文提出了一种系统的方法来训练可重复的深度学习模型，该方法包括评估标准，统一的框架和可重复性指南，能够在不同领域成功复现多个深度学习模型。

Feb, 2022

本文介绍了 2019 年 NeurIPS 会议针对机器学习研究推出的可重复性计划，包括代码提交政策、全社区可重复性挑战和将机器学习可重复性清单作为论文提交过程的一部分，阐述了每个组件的部署以及我们从这个计划中学到了什么。

Mar, 2020

面对研究的可重复性危机，机器学习和人工智能研究也面临同样的问题。虽然研究社区已经提出了不同的解决方案如使用机器学习平台，但机器学习驱动的研究的可重复性水平并没有显著提高。本文通过综述相关文献，讨论机器学习驱动研究中的可重复性问题和障碍，并探索工具、实践和干预等潜在驱动因素，提供对于支持机器学习可重复性的不同解决方案可行性的决策支持。

Jul, 2023

在这篇论文中，我们提出了一种负责任的人工智能（RAI）方法，旨在通过一套指标对数据进行迭代深入分析，从而引导数据收集并影响应用于现实世界中多样用户和内容的人工智能的数据鲁棒性评估。

Aug, 2023

本文介绍了一个通用工具 CERTIFAI，可以应用于任何黑盒模型和任何类型的输入数据，通过生产接近输入但改变模型预测的 counterfactuals，探讨机器学习模型的鲁棒性、可解释性、透明性和公平性，并介绍了第一个黑盒模型鲁棒性分数 CERScore。

May, 2019

通过一个从网络安全角度评估人工智能平台的可再现性的框架，该研究发现目前流行的 AI 可再现性平台 Floydhub、BEAT、Codalab、Kaggle 和 OpenML 中没有一个完全整合了所需的网络安全措施，而 Kaggle 和 Codalab 在安全性、隐私性、易用性和可信度方面表现较好。因此，该研究针对不同用户场景提供了个性化建议，包括个人研究人员、小型实验室和大型公司，强调将特定的网络安全功能整合到 AI 平台中以解决与 AI 可再现性相关的挑战，从而推动该领域的可再现性。此外，该提出的框架还可以应用于其他领域的系统和应用程序的网络安全评估。

Sep, 2023

GeoAI 研究偏重于 GIScience 文献，本文从计算和空间角度深入分析了 GeoAI 研究的重复性和可复制性，包括验证、学习和适应方法以解决相似或新问题，以及研究结果的普适性。通过深度学习的图像分析任务实例，强调了训练数据选择和使用、GeoAI 模型设计、训练和部署过程中的不确定性，以及地理空间数据和过程的空间异质性对结果的影响。结果强调了知识共享的重要性，并提出了一个综合考虑空间自相关和空间异质性的 “可复制性图” 用于量化 GeoAI 研究的空间可复制性。

Apr, 2024

使用下游引文语境作为可再现性的信号进行情感分析，以解释机器学习复现挑战中复现尝试的积极或消极结果。

May, 2024