Aug, 2023

课堂数据分析复制：在测试科学的同时教授学生

PDF
TL;DR将数据分析复制任务纳入课堂可以提高科学工作的可重复性，从而使科学和学生受益。
reproducibility crisisdata analysis replicationstudentseducatorsscientific work
发现论文，激发创造
  • 句法基础的观点挖掘中的复制问题

    本文介绍了一项对于基于句法的方面级情感挖掘的三种著名算法的经验可重复性研究，表明由于预处理和参数设置缺少细节以及缺乏可用的代码实现以阐明细节，再现结果仍然是一项困难的任务，这是该领域的重要研究威胁。因此，鼓励代码驱动的研究在帮助研究人员更好地理解最新技术意义和生成持续进展方面具有关键作用。

    Jan, 2017

  • 复制市场：人工智能复制的结果、经验、挑战和机遇

    本文回顾了行为和社会科学领域以及 DARPA SCORE 项目中使用的方法，特别关注人类预测复制结果的作用，以及预测如何利用相对劳动力和资源密集的复制所获得的信息。探讨了使用这些方法来监测和改进计算机科学，人工智能和机器学习领域中研究可信度的机会和挑战。

    May, 2020

  • 将复制和复现与 NLP 中的泛化能力联系起来：针对目标依赖性情感分析的三个复现研究

    本研究旨在解决自然语言处理中重复性和普适性问题，并以目标相关情感分析为例，证明最近该领域的工作缺乏足够的代码共享和方法描述，缺乏对数据的可比性和泛化性。研究人员运用三种互补方法进行了第一次再现研究，并在六个不同的英文数据集上进行了第一次大规模评估，推荐未来考虑多种数据集、发布代码，以便最大程度上减少使可重复性和普遍性困难的障碍。

    Jun, 2018

  • 自然语言处理的可复现性分析：用多个数据集测试意义

    该论文提出了一种重复性分析框架，用于对 NLP 任务算法的多个比较进行统计学分析，相对于 NLP 文献中目前未经统计证明的传统做法具有显著的理论优势，并通过多个应用案例展示了其实证价值。

    Sep, 2017

  • 可复现性、可重复性及停止时机的经验教训

    通过我们复制一个用于预测热带气旋生成的运行产品的经验，我们提出一个二维框架，以提供有关复制他人研究的指导。这个框架基于数据集、指标和模型等三个关键方面，通过在模型适配和推断之间进行评估，我们可以更好地支持我们研究的主张。此外，我们还使用这个框架来定位大气科学中基准数据集的实用性。我们的二维框架为研究人员，尤其是早期职业研究人员，提供了一个工具，可以在他们自己的研究中融入先前的工作，并在此背景下支持他们的主张。

    Jan, 2024

  • 缓存和可复现性：使数据科学实验更快、更公平

    本文建议将缓存作为数据科学项目中研究软件开发过程的组成部分，以促进实验的重现性和可持续发展，从而实现对数据相关性越来越公平。

    Nov, 2022

  • 在数据集复制中识别统计偏倚

    该研究探讨了标准数据集复制方法引入统计偏差的方式以及它们造成的影响，以 ImageNet-v2 数据集为例，纠正了数据的偏差后，唯有约 3.6%±1.5% 的准确度下降未被解释，为数据集复制的方法提出具体建议。

    May, 2020

  • 高维统计中的可复制性

    研究了可复制性的计算和统计等价性以及高维统计任务中的样本复杂度，并提出了解决分布有有界协方差和 N-Coin 问题中的开放问题的有效算法。

    Jun, 2024

  • 为平衡讲师和研究者激励而开展的持续改进的自适应实验的机遇

    利用机器学习算法进行自适应试验可以在教学改进中提供更好的支持，此方法可以通过随机实验比较传统和自适应试验来探索如何在研究和实践中进行持续改进。

    Oct, 2023

  • 机器学习研究中的可重复性：概述、障碍和推动因素

    我们讨论了机器学习驱动研究的可重复性问题，包括了障碍和驱动因素，旨在为决策制定提供有关采用不同解决方案支持机器学习可重复性的见解和贡献。

    Jun, 2024