statistical significance testing | BriefGPT

关键词statistical significance testing

搜索结果 - 9

模型基准度量方法的忠实模型评估
统计学意义检验用于自然语言处理（NLP）中，用于确定研究或实验的结果是否可能是由于偶然性还是反映了真实关系。我们在模型基于度量的统计显著性测试中，考虑模型误差对样本方差的影响，并通过公共基准数据集和生产系统的实验，展示了在某些实验中，考虑模
PDF6 months ago
通过逆识别标记神经表示
我们提出了一种逆向识别方法 (INVERT)，通过利用学习表示与人可理解的概念之间的区分能力，实现了将学习表示与其对应解释相连接的可扩展方法。此方法具有较低的计算复杂度并且不依赖于分割掩码的可用性，还提供了一个可解释的度量来评估表示与其相应
PDF7 months ago
寻找最先进状态时，请勿忘记差异和置信区间
本文主张广泛使用自助法置信区间来比较自然语言处理系统的性能，而非使用最先进技术（SOTA）和统计显著性检验。两个案例分析展示了其主要优点，即突出两个系统性能差异并帮助评估一个系统优于另一个系统的程度。同时还提供了一个用于获取这些置信区间的
PDF2 years ago
深度意义 - 神经网络时代的简单且有意义的统计显著性测试
本文针对机器学习和深度学习领域中的统计显著性检验问题，提供易用的软件包含多种适合研究需求和可用性的显著性检验和实用功能。
PDF2 years ago
ACL实现对开放域对话系统的可靠人工评估
本文提出了一种可靠且低成本的人类评估方法，以取代已被证明不可靠的自动评估方法，比较了与无人设定的系统相比，使用人设定对话主题的对话系统在对话质量上没有积极的贡献。
PDF2 years ago
ACL机器翻译研究的科学可信度：769 篇论文的元评估
本文是机器翻译评估的第一篇大规模元评估，发现了在过去十年中自动 MT 评估的做法已经发生了巨大的变化和令人担忧的趋势。我们提出了指南来鼓励更好的自动 MT 评估，并提出了一个简单的元评估评分方法来评估其可靠性。
PDF3 years ago
SIGIR信息检索中的统计显著性检验：对 I 型、II 型和 III 型误差的实证分析
通过模拟 TREC 数据集，对不同的测试、系统、主题集大小和效益测量进行了分析，并评估了统计显着性测试在信息检索数据中的行为，为从业者提供了建议。五种测试涉及统计显着性测试、T - 检验、Bootstrap 检验、排列检验和 Wilcoxo
PDF5 years ago
自然语言处理任务推荐的统计显著性检验
该研究论文讨论了如何通过有效的统计显著性测试来证明自然语言处理 (NLP) 算法的优越性，并提出了针对该领域常见任务和评估指标的统计测试方法。
PDF6 years ago
ACL更准确的结果差异统计学显著性检验
该研究探讨了在自然语言处理实证研究中，常用统计方法在独立性假设违反情况下，低估了统计差异的问题，并提出了一些不需要独立性假设的有效测试方法。
PDF24 years ago