Apr, 2022

Repro: 一个开源库，用于提高公开研究代码的可重复性和可用性

PDF
TL;DR介绍了 Repro 这个开源库，它旨在提高研究代码的可重复性和可用性。Repro 为研究人员发布的软件提供了轻量级的 Python API，使用户无需配置即可在 Docker 容器中运行代码的确切必备运行时配置和依赖项。
发现论文，激发创造
  • Docker 简介与 R 环境下的可重复研究

    本文探讨了计算再现性的重要性和挑战，介绍了当前处理此类问题的方法和局限性，并提出了基于 Docker 技术的解决方法，并给出了几个基于 R 统计环境的 Docker 使用案例。

    Oct, 2014

  • 开源可复制性的警笛之歌

    会议为了解决可重复性问题而采取的强制代码提交的做法是片面的，并没有得到有效的证明，因此我们认为会议应该采取更多措施来推进可重复的机器学习研究。

    Apr, 2022

  • 可再生性不等于正确性：在自然语言处理中测试代码的重要性

    研究表明，代码正确性与结果可重复性应并重，通过一个案例研究，发现并修正了 Conformer 模型中的三个错误，证明了存在缺陷不影响结果的可重复性，同时也呼吁采用编码最佳实践以促进正确性和提高开发软件的质量。

    Mar, 2023

  • 提高机器学习研究的可重复性 (来自 NeurIPS 2019 可重复性计划的报告)

    本文介绍了 2019 年 NeurIPS 会议针对机器学习研究推出的可重复性计划，包括代码提交政策、全社区可重复性挑战和将机器学习可重复性清单作为论文提交过程的一部分，阐述了每个组件的部署以及我们从这个计划中学到了什么。

    Mar, 2020

  • 一个用于通过 Readmes 进行源代码存储库可复制性评估的端到端系统

    通过评估源代码的可重现性来支持论文的可重现性评价，并提出了一个基于节相似性的系统，相较于层次转换模型，该系统在解释性方面具有优势。

    Oct, 2023

  • 可复现性需要一致的实物

    机器学习存在严重的 ' 可重复性危机 '，本文通过对 ReScience C 的 142 个复制研究和 204 个代码库进行元分析，发现缺少实验细节如超参数可能是可重复性差的潜在原因。文章实验表明，不同的超参数选择策略会产生偏差，并得出一个统一框架的集成物能够帮助支持可重复性。

    May, 2023

  • 机器学习流水线：来源追溯性、可重现性和 FAIR 数据原则

    本文介绍了支持机器学习流程端到端可重复性的目标和初步步骤，探讨了除源代码和数据集可用性之外影响机器学习实验证明性的因素，并提出了将 FAIR 数据实践应用于机器学习流程的方法。文中将 ProvBook 作为工具，分析了 Jupyter Notebooks 捕捉和比较机器学习实验及其可重复性的初步结果。

    Jun, 2020

  • 将复制和复现与 NLP 中的泛化能力联系起来：针对目标依赖性情感分析的三个复现研究

    本研究旨在解决自然语言处理中重复性和普适性问题，并以目标相关情感分析为例，证明最近该领域的工作缺乏足够的代码共享和方法描述，缺乏对数据的可比性和泛化性。研究人员运用三种互补方法进行了第一次再现研究，并在六个不同的英文数据集上进行了第一次大规模评估，推荐未来考虑多种数据集、发布代码，以便最大程度上减少使可重复性和普遍性困难的障碍。

    Jun, 2018

  • 缓存和可复现性：使数据科学实验更快、更公平

    本文建议将缓存作为数据科学项目中研究软件开发过程的组成部分，以促进实验的重现性和可持续发展，从而实现对数据相关性越来越公平。

    Nov, 2022

  • 可持续的计算科学：ReScience 倡议

    ReScience 是一本基于 GitHub 上的同行评审期刊，旨在促进计算研究的显式复制，支持新的开源实现，以确保原始研究可以从其描述中复制。

    Jul, 2017