Feb, 2019

功效轮廓：优化实验心理学和人类神经科学的样本量和精度

PDF
TL;DR本文探讨了实验参与者试验中试验次数和参与者数量对统计力量的影响，并演示了在常用实验范式中，当被试内的方差与被试间的方差相比较大时，试验次数具有意义的影响，提供了一个在线工具来生成功率轮廓，并计算出最佳的试验和参与者组合.
发现论文，激发创造
  • 合成功率分析：经验评估及其在认知神经影像学中的应用

    本论文提出了一种名为 “合成功效分析” 的框架，通过在观察到的认知过程的条件下使用隐式生成模型合成脑成像数据，以实验性地探究其在样本大小选择方面的性能，结果表明，这种方法可以作为先导数据收集的低成本替代方案。

    Oct, 2022

  • 微弱的力量带来巨大的责任

    该论文通过元分析现有的自然语言处理论文和数据集，表征了一系列设置的典型统计功率，最终得出结论，在自然语言处理文献中，实验功率不足是常见的。作者还概述了 NLP 统计功率分析的最佳实践，并发布了一系列笔记本来帮助未来的研究者进行统计功率分析。

    Oct, 2020

  • 在语音、语言和听力科学中迈向具有普适性的机器学习模型：功效分析和样本量估计

    提供数量证据来推动研究者使用嵌套交叉验证方法，同时介绍在研究设计中进行机器学习分析的功率分析方法和 MATLAB 代码，使用 Monte Carlo 模拟比较了四种不同的交叉验证方法，在统计效力和统计置信度方面比较，结果表明嵌套 10 折交叉验证具有最高的统计置信度和统计效力，而样本量要求比单次留存法少 50%，嵌套交叉验证模型的置信度比单次留存法模型高四倍。

    Aug, 2023

  • PowerGraph：利用神经网络和主成分确定多元统计功率权衡

    为了解决多元问题下统计功效估计与灵敏度分析的计算瓶颈，文中探讨了一种基于机器学习模型的简单通用解决方案，可将计算成本降至原方法的 10% 以内，并在提供良好 F1 得分的同时，进一步阐述了在跨分布学习能力的学习能力对于提高统计功效估计精度的重要性。

    Dec, 2021

  • 教程：簇分析、潜在类分析和多元混合模型的样本量、效应大小和统计功效的先验估计

    在确定样本量和效应量时，本文介绍了一种程序，用于形式化研究者对所选择领域的效应量的预期，从而计算所需的最小测量变量数量，同时还概述了确定子群分析的最小样本量的方法，并使用模拟提供了常用子群分析方法（k 均值，Ward 层次聚类，c 均值模糊聚类，潜在类别分析，潜在属性分析和高斯混合模型）的参考表，该表显示了达到可接受的统计功效所需的每个预期子群（样本量）和变量数量（测量变量），可直接用于研究设计。

    Sep, 2023

  • 人类评估机器翻译中的超越力量

    本文介绍了一种称为中期测试的评估方法，该方法在具有较小预算的情况下提供了更有效的评估方式，并可获得更高的评估功率和效率，这在机器翻译评估领域非常有用。

    Oct, 2022

  • 估计非零假设数目和效应大小

    本文研究了估计多重检验背景下的效应大小分布的问题。我们提出了一种简单、高效的估计器，可使用廉价的试验数据，在比识别发现类试验所需采样数量显著少的情况下，估计该分布。该估计器可用于保证未来试验中给定实验设计中将被发现的发现数量，并展示了在 Drosophila 上进行的流感抑制基因敲除试验数据的有效性。

    Feb, 2020

  • 在线语言生产研究中的效应大小、变异性和功效评估

    与实验心理学家和语言学家进行在线数据收集的研究结束后，通过一系列分析比较实验室和在线中得到的单词生成实验的反应时间数据，发现在线生成研究可能是可行的，但需要付出相当大的代价，并且需要更大的样本量才能获得足够的统计效力。

    Mar, 2024

  • 交叉验证失败：小样本导致大误差

    通过交叉验证误差条的实验结果，揭示了采用预测模型 (例如生物标志物或方法开发) 进行认知神经影像研究时，由于样本数导致的误差范围大约为 ±10％，并且这种误差经常被低估，而且常常会削弱研究结论的可靠性。因此，需要探索扩大样本量的解决方案，并解决数据异质性的可能增加问题。

    Jun, 2017

  • 关于探测的数据需求

    本研究探索寻找一种数量化方法，以估算合理的探测数据集大小，旨在构建一个系统性的诊断神经自然语言处理 (NLP) 模型探测数据集的框架。通过几个案例研究，我们验证了我们的估算具有足够的统计功效。

    Feb, 2022