通过给基准数据集中的未注释样本打分，我们提出了一种模型评估方法，用语义文本相似性评估该任务的基于难度的分数，比单纯的评估模型性能更准确，可以避免潜在的偏差以及更广泛的应用。

Oct, 2022

本文提出了一种硬度感知的深度度量学习（HDML）框架，通过利用线性插值对嵌入空间进行自适应调整，生成相应的保留标签合成数据进行回收训练，以充分利用所有样本中 buried 的信息，从而使度量始终面对适当的困难程度。实验结果表明，本方法在 widely used 的 CUB-200-2011、Cars196 和 Stanford Online Products 数据集上表现出极具竞争力的性能。

Mar, 2019

该研究开发了复杂度量度，可用于量化观测数据的分类复杂度并确定基准性能阈值，其有效突出可能被错误分类的数据区域和观测数据。

Dec, 2021

本文提出了一种新的方法，通过学习像素的硬度来解决语义分割中一些难点区域的问题，通过最大化权重分割损失来学习硬度等级（HL）图，并在 Cityscapes 数据集上得到了显著的改进。

May, 2023

本文针对金属学家对钢材织构的视觉分类存在主观性强的问题，提出了一种基于深度学习的钢材组织类型及其指针长度自动分类方法，达到了 96% 的准确率，从而提高了对钢材组织的客观性和可靠性。

Jun, 2023

在该研究中，我们建立在聚类理论的基础上，提出了一种度量数据集粒度的框架，认为数据集的粒度不仅取决于数据样本和标签，还取决于我们选择的距离函数，我们评估了每种度量标准，并在具有分层标签的数据集上进行了实验。我们发现，细粒度数据集更难学习，更难迁移，更难进行小样本学习，更容易受到对抗攻击。

Dec, 2019

通过纳米压痕研究了 Cu-Cr 复合材料，使用无监督学习的高斯混合模型分析大量数据集，确定了多个机械相和相应的机械性能，并引入交叉验证方法来解决在材料科学机器学习中常遇到的数据数量和可靠预测问题。

Sep, 2023

介绍了一个名为 DL-HARD 的数据集，它通过对 TREC Deep Learning (DL) 主题进行广泛注释，从而更有效地评估神经排序模型，包括问题意图分类、答案类型、话题类别、来自商业网络搜索引擎的实体以及结果类型元数据等，同时还介绍了识别挑战性查询的框架。DL-HARD 包含了 DL 2019/2020 评估基准的 50 个主题，其中一半是新的并且独立评估的。该研究通过在 DL-HARD 上进行实验，发现参与系统的评估指标和排名存在实质性差异，从而推动了神经排序方法的研究。

May, 2021

本文提出一种新的方法来测量样本的难度，基于卷积神经网络（CNN）的角度视觉硬度（AVH）分值，并且与传统的损失训练动态相比，我们发现 AVH 对于较难的例子不易达到平稳状态，为了更好的解决这个问题，我们需要设计更好的损失函数；同时也发现 AVH 和人类视觉难度有相关性，在域适应和领域泛化等应用中展现出很好的效果。

Dec, 2019

通过对随机和受控因素的比较，我们发现例子排名在不同的训练运行、评分方法和模型架构间存在很大的一致性。同时，我们还开发了一种简单的方法来使用一些敏感的例子对模型架构进行指纹识别。这些发现指导从业者在最大化评分一致性方面（例如通过选择适当的评分方法、运行次数和例子子集）并为将来评估评分建立全面的基准。

Jan, 2024