本文讨论了用于测量和计算序列结构的不同方法，并展示如何从中推断知识，以建立序数数据科学作为一种全新的研究议程。这将对心理学、社会学、经济学、网络科学、知识工程学和科学计量学等多个学科产生广泛影响。

Jul, 2023

介绍并解释一种基于分类性能和数据退化的相关演变来度量数据质量的新指标，该方法具有模型无关性，并通过大量的数值实验以及具有可控和可解释质量的案例详细验证了所提出度量标准的实用性。

Dec, 2023

本文提出了使用排序概率得分（RPS）作为医学图像分级任务的性能度量指标，并展示了该得分的反直觉和可疑行为，并提出了简单的修复方法。通过对四个大规模生物医学图像分级问题进行全面实验，证明了 RPS 是适合概率排序预测的性能度量指标。

Sep, 2023

通过定义和分析分类表现的可取特性，研究论证了某些性能度量方法比其他方法更好，并提出了一系列新的度量方法，这些方法在除一种可取特性外均可满足，包括 Matthews 相关系数和对称平衡准确性，为实践人员实现充分的分类结果评估提供了重要工具。

Jan, 2022

在自然语言处理（NLP）分类任务中，衡量模型泛化能力的常规度量指标（如准确率、F - 度量或 AUC-ROC）的多样性和任意性表明 NLP 领域尚无一致的最佳度量指标。本文对比了几种常规分类度量指标与更具特异性的度量指标，并证明随机猜测的归一化信息性度量是任务性能的简约基准。通过广泛实验，在包括合成场景、自然语言理解、问题回答和机器翻译在内的多个 NLP 任务上使用了一组度量指标对模型进行排名，得出归一化信息性度量最能捕捉到理想模型特征。最后，我们发布了一个按照 SciKitLearn 分类器格式实现的 Python 版本的归一化信息性度量。

Jan, 2024

分类系统在无数篇论文中进行评估。然而，我们发现评估实践通常是模糊的。经常情况下，指标选择是没有依据的，模糊的术语容易引起误解。本文从偏倚和普遍性的直观概念出发，对常用的评估指标进行分析，考虑到论文中所表达的期望。通过对度量选择的全面理解，我们调查了自然语言处理的最近共享任务中的度量选择情况。结果显示，度量选择通常缺乏令人信服的论证，这可能使得任何排名看起来都是随意的。本工作旨在提供概览和指导，以实现更有见地和透明的度量选择，推动有意义的评估。

Apr, 2024

通过实验评估，我们发现对于信息检索中评价方法的大多数流行度量标准进行区间缩放可以显著影响结果的可靠性，使不显著差异变得显著，并导致决策结果发生了 25% 左右的变化。

Jan, 2021

本文提出了一种新的距离度量方法来解决时间序列数据在分类中被任意数据污染的鲁棒性问题，并在 k 近邻时间序列分类中得到了有竞争力的分类精度。

Aug, 2020

提出了一种基于分布式边际学习（DMOE）的序数嵌入技术，用于解决缺乏训练样本时的序数嵌入问题，该方法避免了直接最大化边际均值和最小化边际方差，从而提高了整体的泛化性能。

Dec, 2018

本研究提出了一种针对聚类算法进行 “外部” 评估的性能度量，该度量具有 “允许比较不同数量群集的量化和原则” 的特性，并且可以量化地衡量群集标签对于类标签作为预测变量的有用性。

Dec, 2012