本文提出一种基于心理度量学中的项目反应理论（IRT）的替代手段，用于生成金标准测试集和 NLP 系统的评估，通过实验证明 IRT 方法能提供更为全面的系统性能评估，并能更好地说明系统性能。

May, 2016

本研究讨论了常见的评估措施，指出它们存在偏差，需要清楚理解偏差并识别其机会或基线水平，提出了反映预测是否知情的概率的若干概念和测量方法，引入了 Markedness 作为一种相对应的概率的二元测度，展示了 Informedness，Markedness，相关性和重要性的优雅联系，以及它们与召回率和准确率之间的直观关系，并概述了从二分类情况扩展到一般的多类情况。

Oct, 2020

此研究提出了一种基于测量论和信息论的度量标准：接近度评价度量，用于在对有相对排序的类别进行指派的任务如情绪分析中应用；在理论分析和实验结果中实现了同时捕捉传统任务质量方面的效果，并且根据其所在的测量尺度，还可以推广一些流行的分类（名义等级）和误差最小化（间隔等级）测量标准。

Jun, 2020

本文介绍如何在缺少数据的情况下，使用学生 t 分布法来评估自然语言处理领域中翻译质量评估（TQE）任务中的人工评测可靠性（IRR），并进一步分析在数据量较少时如何提高评测的置信度。

Mar, 2023

该研究探讨了在自然语言处理实证研究中，常用统计方法在独立性假设违反情况下，低估了统计差异的问题，并提出了一些不需要独立性假设的有效测试方法。

Aug, 2000

通过理论分析和 Monte Carlo 模拟，对传统评估方法中存在的偏见进行了讨论，提出了一些不受偏见影响的替代评估方法，如 Cohen Kappa，并进行了实证评估。

Apr, 2015

统计学意义检验用于自然语言处理（NLP）中，用于确定研究或实验的结果是否可能是由于偶然性还是反映了真实关系。我们在模型基于度量的统计显著性测试中，考虑模型误差对样本方差的影响，并通过公共基准数据集和生产系统的实验，展示了在某些实验中，考虑模型误差计算样本方差对模型基于度量的结果产生了改变。

Dec, 2023

感知是将外部物理变量转化为内部心理变量的过程，本研究通过使用概率模型测量感知刻度来证明观察者具有对空间频率、方向等参数进行内部表征，且感知刻度主要受到刺激功率谱的影响，最终提出使用感知刻度来估计图像之间的感知几何路径的概念。

Oct, 2023

通过分布不变公平性度量，我们提出了一套对连续计分进行公平性度量的方法，该方法基于 Wasserstein 距离，具有合理的解释性，并且适用于量化和解释群组差异的强度，以及在不同模型、数据集或时间点之间比较偏差。我们还证明了这些度量的有效性，通过对常用公平性基准数据集的实验验证。

Aug, 2023

我们的研究关注中等规模的单词的具体性评分，并通过相关性和监督分类来识别显著的多模式特征，应用硬聚类方法来确定评分者之间系统性分歧的模式。结果表明，在利用中等规模的目标词之前，需要对其进行微调或过滤。

Nov, 2023