本文通过图像分类示例调查深度学习(DL)训练算法的不确定性及其对神经网络(NN)模型可解释性的影响,探讨了创建实用性强的确定性,鲁棒性高的 DL 模型和确定性可解释人工智能(XAI)的可行性。并说明了其工作的成功与局限性,确定性模型的源代码已在本文中列出,同时介绍了欧盟在卓越人工智能的框架内提出的模型治理框架开发阶段组件所标注的可重复性,并探讨了在实现可重复性的过程中需要解决的问题以及处理某些问题的方法。
Feb, 2022
分析软件工程领域的软件错误预测是否存在与其他机器学习领域相似的可复现性问题,发现大部分研究文章缺乏关键的复现元素,呼吁改进研究实践以确保基于机器学习的研究的可复现性。
Feb, 2024
面对研究的可重复性危机,机器学习和人工智能研究也面临同样的问题。虽然研究社区已经提出了不同的解决方案如使用机器学习平台,但机器学习驱动的研究的可重复性水平并没有显著提高。本文通过综述相关文献,讨论机器学习驱动研究中的可重复性问题和障碍,并探索工具、实践和干预等潜在驱动因素,提供对于支持机器学习可重复性的不同解决方案可行性的决策支持。
Jul, 2023
本研究主要探讨如何提高深度强化学习领域中对实验结果的可重现性,为此研究了现有方法的可重现性、实验技术和报告程序,并提出了指导方针以使未来的研究结果更易于重现和解释。
Sep, 2017
本文回顾了当前关于 Artificial Intelligence 的可重复性的文献,并强调了未解决的问题。作者提出了一些建议来提高模型重复性,特别是涉及生物医学和物理人工智能领域的问题。
Feb, 2023
本研究探讨了深度学习错误的可重现性,通过构建数据集、确定可重现性并识别编辑操作和有用信息,最终成功复现了 85 个深度学习错误并提出了十种编辑操作和五种有用信息类别,有效提高了错误的可重现性。
Jan, 2024
本文探讨了强化学习中的无法重现性问题,提出了使用严格规范的评估方法来确保算法之间的公正比较,并强调了选取适当的度量标准和进行合适的统计分析来做出无偏见的结果报告。
Sep, 2019
我们讨论了机器学习驱动研究的可重复性问题,包括了障碍和驱动因素,旨在为决策制定提供有关采用不同解决方案支持机器学习可重复性的见解和贡献。
Jun, 2024
本文研究了深度强化学习中训练的不确定性问题,并通过确定性实现来控制其表现差异,实验结果表明确定性实现能有效提高智能体的性能表现,并且对于结果的精确复现也具有重要作用。
Sep, 2018
本文介绍了 2019 年 NeurIPS 会议针对机器学习研究推出的可重复性计划,包括代码提交政策、全社区可重复性挑战和将机器学习可重复性清单作为论文提交过程的一部分,阐述了每个组件的部署以及我们从这个计划中学到了什么。
Mar, 2020