May, 2023

关于神经网络分类性能针对加权度量的全面理论优化框架

HTML
PDF
TL;DR本文提出了一种完整的理论框架来形式化加权分类度量标准，并构建了可优化这些度量标准的损失函数。该框架包括了经典的成本敏感学习、加权交叉熵损失函数和价值加权技能得分等方法作为特例。
发现论文，激发创造
  • 带有随机高斯权重的深度神经网络: 一种通用的分类策略?

    本研究证明深度神经网络具有保留核心信息、能准确处理不同类别数据和传递关于未见数据的信息等重要属性，同时实现距离保持嵌入，并验证此结果适用于现有各类深度神经网络。

    Apr, 2015

  • 通过直接损失最小化训练深度神经网络

    本文提出了一种直接损失最小化的方法来训练深度神经网络，特别适用于应用特定的指标，包括提出了新的动态规划算法来高效计算权重更新，最终在行动分类和目标检测方面表现优秀，特别是在存在标签噪声的情况下。

    Nov, 2015

  • 神经网络二元分类的损失曲面理解

    针对单层神经网络的拟合损失函数，研究神经网络算法中局部极小值的性质，提出当神经元是严格凸函数并且代理损失函数是铰链损失函数的平滑版本时，在所有局部极小值处训练误差为零的条件。同时，通过反例表明当损失函数替换为二次损失或逻辑损失时，该结论可能不成立。

    Feb, 2018

  • 度量优化的例子权重

    提出使用带权损失函数和标准损失函数来处理复杂测试度量和数据分布不一致问题，并且权重可以学习适应任何测试指标，公式支持的各个实际场景和标准数据集的实验结果表明该方法的性能得到重大改善并且还提供了一种方法的一般化范围。

    May, 2018

  • 现实世界中基于权重的交叉熵损失函数：建模错标的成本

    该研究提出了一种新的度量分类器拟合度的度量标准——实际成本函数，该函数结合了有关实际问题的信息，例如财务影响，以及用户更易于解释的特性。为了优化这个度量标准，作者介绍了基于实际成本函数的损失函数，并比较了损失函数的设计和已有的损失函数，通过MNIST数据集的模拟情境对其效果进行了实证研究。

    Jan, 2020

  • 对分类器分类：剖析神经网络的权重空间

    本文介绍了一个关于神经网络权重的实证研究。通过采样多种不同神经网络分类器的训练变化，使用机器学习方法从权重空间中提取和分析信息，特别地构建了一些新型的深度元分类器，用于检测通过超参识别并在优化过程中编码为权重的模式，从而提供了一种新颖和互补的可解释AI视角，并释放了一个神经权重空间（NWS）数据集，以促进进一步研究。

    Feb, 2020

  • 重要性加权是否与插值分类器不兼容？

    通过理论证明和神经网络实验，我们发现针对过参数化神经网络，经典的重要性加权技术在指数形式的损失函数下失效，但在多项式形式的损失函数下可恢复，最终提出的经过加权的多项式损失函数在修正分布偏移方面的性能要优于通常的加权交叉熵损失函数，并能取得超过目前业界最优方法的测试精度。

    Dec, 2021

  • 回归即分类：任务形式对神经网络特征的影响

    研究神经网络对回归问题的解决方法，针对两层ReLU网络探索了梯度优化引起偏差的一些现象，提出了一种新的支持度计算方法，得出实验证据，阐述了广义梯度下降和平方损失函数在训练中的优化困难。

    Nov, 2022

  • 通过$F_β$-得分将多类神经网络分类器准则与任务性能对齐

    我们提出了一种方法，该方法可以为多类神经网络分类器提供训练和评估的一致性，使其与预期的特定应用性能标准相一致，并通过使用软集混淆矩阵和分段线性逼近的概念，将二元情况扩展到多类情况。

    May, 2024

  • 分类的一致性得分加权聚合

    通过结合多个评分函数来改善相容预测器的性能，提出了一种新方法，通过确定最优权重来最小化预测集大小，实验表明该方法在维持有效覆盖率的同时始终优于单评分相容预测器，为分类任务中提高相容预测的效率和实用性提供了有原则和数据驱动的方法。

    Jul, 2024