Apr, 2024

基于应用数据集特征的轻量级分类难度度量

PDF
TL;DR通过提出的分类困难度度量方法，可以在进行一次模型家族的训练和测试后，通过比较难度度量来预测不同数据集和相同家族模型的相对性能，为小型数据集选择计算效率高的模型比重复训练和测试快 6 至 29 倍。
发现论文，激发创造
  • 模型无关的泛化困难度度量

    该研究提出了第一个与模型无关的任务内在泛化难度度量，称为归纳偏差复杂度度量，该度量可以应用于计算和比较监督学习、增强学习和元学习的泛化难度。

    May, 2023

  • 遗传数据测量：理解文本分类任务的难度

    通过对 78 个现实世界数据集的训练与分析，本研究提出了一种简单易行的衡量文本分类数据集难度的方法，并且此方法适用于不同类型的数据集，可以用于提高模型的性能。

    Nov, 2018

  • 分类器数据质量：一种基于几何复杂度的自动基线和见解生成方法

    该研究开发了复杂度量度，可用于量化观测数据的分类复杂度并确定基准性能阈值，其有效突出可能被错误分类的数据区域和观测数据。

    Dec, 2021

  • Difficulty-Net: 学习长尾识别的难度预测

    该研究提出了一个名为 Difficulty-Net 的模型，使用元学习框架来预测长尾数据集中难度较大的类别，利用相对难度和驱动器损失来指导学习，并且在多个长尾数据集中取得了最先进的性能。

    Sep, 2022

  • 轻量级卷积神经网络的数据端效率

    我们研究了在图像分类和目标检测的两个重要视觉任务中，选择数据方面属性如何帮助选择或设计轻量级卷积神经网络。通过实验，我们展示了四个数据属性 - 类别数目、目标颜色、图像分辨率和目标尺度如何影响神经网络模型的大小和效率。通过基于度量学习的内部和外部类别相似度度量，来指导这些属性的评估从而实现轻量级模型。使用这些度量进行评估，其计算量比完全进行推理测试少 30 倍。我们提供了一个应用这些评估和方法来选择一个轻量级模型用于机器人路径规划应用的示例，其计算量减少了 66%，精度提高了 3.5%。

    Aug, 2023

  • 通过考察测试集难度理解深度学习性能：一项心理测量案例研究

    研究了深度学习模型性能评估中忽略的数据点特征和难度对测试集准确性的影响，通过用已有的心理测量学方法对人类的反应模式进行建模来估计难度，实验结果发现难度对于测试的结果有重要影响，同时易于学习的实例被模型学得更快。

    Feb, 2017

  • 数据集难度与归纳偏差的作用

    通过对随机和受控因素的比较，我们发现例子排名在不同的训练运行、评分方法和模型架构间存在很大的一致性。同时，我们还开发了一种简单的方法来使用一些敏感的例子对模型架构进行指纹识别。这些发现指导从业者在最大化评分一致性方面（例如通过选择适当的评分方法、运行次数和例子子集）并为将来评估评分建立全面的基准。

    Jan, 2024

  • 分类问题的复杂程度如何？关于分类复杂度测量的调查

    本文介绍从训练数据集中提取的能用于特征描述的分类复杂度的测量方法，包括数据的空间分布、决策边界的形状和大小等。同时，分析了这些特征在最新研究中的应用以及未来的工作机会，并介绍了一个名为 Extended Complexity Library (ECoL) 的 R 包，该包实现了一套复杂度测量方法并对公众开放。

    Aug, 2018

  • 让模型为多任务学习决定其课程

    通过基于模型的方法计算难度分数，将训练实例分成两个类别：数据集层次和实例层次。通过实验，发现难度分数分别为实例层次和数据集层次，相对于各自的基线，平均性能提高了 4.17％和 3.15％，并且大多数的提高来自于正确应对困难实例，这个策略具有更好的效力。

    May, 2022

  • 挑战方案中分类器的比较

    研究了如何在挑战设置中评估不同竞争者（算法）的表现，分析了 MeOffendEs @ IberLEF 2021 比赛的结果，并提议通过重采样技术（引导）进行推理，以支持挑战组织者的决策。

    May, 2023