Jun, 2024

通过 GSD-Front 进行统计多准则基准测试

PDF
TL;DR通过借用鲁棒统计学和不精确概率的技术，本研究提出了一种可靠的方法来比较分类器，以满足不同质量指标、统计不确定性和基本假设的鲁棒性要求。
classifierscomparisonsreliabilitystatistical uncertaintyrobustness
发现论文，激发创造
  • 具有局部可变测量尺度的随机变量的稳健统计比较

    本文提出一种新的概率论序，可以用于量化非标准空间映射的随机变量期望之间的偏序关系，通过线性优化实现并用于实际领域

    Jun, 2023

  • 挑战方案中分类器的比较

    研究了如何在挑战设置中评估不同竞争者（算法）的表现，分析了 MeOffendEs @ IberLEF 2021 比赛的结果，并提议通过重采样技术（引导）进行推理，以支持挑战组织者的决策。

    May, 2023

  • 基础模型时代中的风险评估和统计显著性

    提出了一个分布框架，用于评估基础模型的社会技术风险，并通过量化统计显著性进行考量。利用基于实际随机变量的一阶和二阶随机优势的新统计相对测试，与在选择备选方案时平衡风险和效用常用的均值 - 风险模型建立联系。采用这个框架，我们正式发展了一个基于风险意识的基础模型选择方法，给定由指定指标量化的约束。受数学金融中的投资组合优化和选择理论的启发，我们为每个模型定义了一个 “指标组合” 作为聚合指标的方法，并基于这些组合的随机优势进行模型选择。我们的测试的统计显著性在理论上得到支持，通过中心极限定理的渐近分析并在实践中通过自助方差估计来实例化。我们使用这个框架来比较各种大型语言模型，针对偏离指令和输出有害内容的风险进行评估。

    Oct, 2023

  • 一种基于严重程度原则的针对随机优化算法性能分析的新型排名方案

    提出了一种新的排名方案，利用基于鲁棒的自助法假设检验程序对多个单目标优化问题的算法进行排名，并考虑了算法的性能改进的大小和实际相关性，与传统假设检验相比，提出的排名方案具有可比性和许多额外的好处。

    May, 2024

  • 算法公平性 - 准确性边界的推断

    通过提供一致的估计器和推理方法，本文研究了决策过程中算法的公平性和准确性之间的权衡，还提出了是否排除算法训练中的某些协变量以及是否存在非歧视性替代算法等方面的假设。

    Feb, 2024

  • PMLB: 机器学习评估和比较的大型基准测试套件

    本文介绍了一个可访问、策划和开发的公共基准资源，用于促进不同机器学习方法的优缺点的识别。我们比较了这一资源中当前一组基准数据集的元特征，以表征可用数据的多样性。最后，我们应用了一些已经建立的机器学习方法到整个基准套件，并分析数据集和算法在性能方面是如何聚类的。该工作是了解流行基准套件的限制并开发将现有的基准标准与未来更多样化和有效标准相连接的资源的重要第一步。

    Mar, 2017

  • 随机排名：无标度离散函数的全局优化

    该研究提出了一个用于直接优化排名度量的高效框架 ——CatBoost，并介绍了两种重要的技术：随机平滑和基于部分积分的新梯度估计，证明了经典平滑方法可能会引入偏差，并提出了一个通用解决方案进行去偏差，该算法保证全局收敛性并在多个学习排名数据集上优于现有方法。

    Mar, 2020

  • 表征准确性和公平性权衡帕累托边界的理论方法

    理论分析中，通过确定所有不可被其他分类器支配的最优 Pareto 分类器集合来确定准确性 - 公平性权衡帕累托前沿的形状，该研究旨在解决准确性 - 公平性权衡的长期挑战，并提供一个理论框架。

    Oct, 2023

  • 基于统计距离度量的机器学习预测可靠性和鲁棒性评估 ——StaDRe 和 StaDRo

    本研究探讨了基于 Empirical Cumulative Distribution Function（ECDF）的距离度量方法，以测量时间序列数据中的 ML - 预测方法的可靠性和鲁棒性估计，提出了 SDD-based 可靠性估计（StaDRe）和 SDD-based 鲁棒性估计（StaDRo）措施，并可提供数据集 SDD 与 ML 模型的关键绩效指标之间的联系。

    Jun, 2022

  • 更公平、更准确，但为谁而做？

    该论文介绍了一种比较不同风险评估模型公平性的框架，特别关注与种族和性别的不平等问题，以预测再犯率和贷款为例进行实验。

    Jun, 2017