Jul, 2023

一类分类的对数障碍损失函数

PDF
TL;DR通过将对数障碍函数引入 OCC 损失（LBL）中，并通过逐渐放松的 Sigmoid 函数解决优化不稳定性问题，提出了一种新的深度学习 OCC 损失函数（LBLSig）。与多种最先进的 OCC 算法在不同网络结构上进行比较实验证明了 LBL 和 LBLSig 的有效性。
发现论文，激发创造
  • 探索异常检测的单类分类优化目标

    通过优化目标空间内的规范来改进异常检测，研究发现可以使用适当规范的任何空间作为等效替代，无需依赖于训练样本分布假设，提出了一种简单且与数据无关的深度单类分类方法。

    Aug, 2023

  • 深度神经网络及对数损失的分类

    使用逻辑损失训练的深度神经网络（DNN）在各种二元分类任务中取得了令人印象深刻的进展，然而，关于 DNN 和逻辑损失的二元分类的泛化分析仍然很少。本文旨在通过建立一种新颖而优雅的 oracle-type 不等式，并利用它推导全连接的 ReLU DNN 分类器在逻辑损失下的尖锐收敛速率，以填补这一空白。此结果解释了为什么 DNN 分类器在实际高维分类问题中表现良好。

    Jul, 2023

  • 逻辑回归：随机和在线优化的紧密边界

    本研究探讨了逻辑损失与其他广泛考虑的选项（如铰接损失）的区别，结论认为逻辑损失函数并没有优势。

    May, 2014

  • 高度不平衡分割的边界损失

    基于轮廓空间的边界损失可弥补高度不平衡问题，结合标准区域损失，实现 N 维分割的深度网络架构，显著提高训练稳定性。

    Dec, 2018

  • 一种简洁的对数损失函数用于异常检测模型的稳健训练

    提出了一种新的损失函数 LMSE，比现有的 MSE 函数更加稳定，对于异常检测性能和损失函数收敛性更强，在深度学习的领域中具有广泛的应用前景。

    Jan, 2022

  • 使用关于 Gumbel 优化的损失函数进行长尾实例分割

    本文提出一种 Gumbel 优化损失函数，用于解决深度检测器中 Sigmoid 或 Softmax 函数导致检测稀有类别低效的问题，实验结果表明该方法能显著提高罕见类别的检测效果。

    Jul, 2022

  • 约束深度网络：通过对数障碍扩展的拉格朗日优化

    本研究提出了一种基于 log-barrier 扩展的方法，用于近似 Lagrangian 优化约束 CNN 问题，以提高精度、约束满足度和训练稳定性。

    Apr, 2019

  • 利用负对数损失的预言者攀升 Kaggle 排行榜

    本文通过攻击数据挖掘比赛中的 Oracle 来推断出测试集中的部分 Ground truth，并在 Kaggle 竞赛中证明了这一攻击的有效性和可行性。同时，本文还推导了一个关于批处理大小的上限，并给出了一个可以攻击包含未知标签子集的数据集的攻击方法。

    Jul, 2017

  • 带有平滑对数障碍函数的有约束强化学习

    我们提出了一种新的约束强化学习方法，称为 CSAC-LB（具有对数势函数的约束软 Actor-Critic）。通过将线性平滑对数势函数应用于附加的安全评论家，它实现了适应性政策学习的惩罚，并减轻了对数势函数方法应用中已知的数值问题，从而在几个不同难度的约束控制任务上实现了最先进的性能，并在真实的四足机器人平台上评估了我们的方法。

    Mar, 2024

  • 正交投影损失

    文章提出了一种新的损失函数 OPL，以加强交叉熵损失函数在特征空间中的类内聚类和类间分离，这种方法在图像识别等任务中取得了良好的效果，并且具有更好的鲁棒性。

    Mar, 2021