CVPRMay, 2019

P2SGrad：优化深度人脸模型的精细梯度

PDF
TL;DR通过设计梯度，直接更新深度神经网络，以此来解决采用 cosine-based softmax 损失函数可能会出现的超参数敏感性的问题。我们使用 P2SGrad 梯度替代传统的损失函数，该方法利用余弦相似性代替分类概率。在三个人脸识别的基准测试（LFW， MegaFace 和 IJB-C）上的结果表明，P2SGrad 稳定，鲁棒性高，且在所有三个基准测试中实现了最新的性能表现。
deep face recognitioncosine-based softmax lossesgradientsneural networksp2sgrad
发现论文，激发创造
  • AdaCos： 自适应缩放余弦 Logits 用于有效学习深度人脸表征

    本文探究了余弦相似度 softmax 損失的兩個參數的效果，提出了不需要超參數的 AdaCos 損失函數，並在人臉驗證及識別數據集上驗證其效果優於現有的 softmax 損失。

    May, 2019

  • 用于判别性人脸验证的 L2 约束 Softmax 损失

    本研究中，我们给特征描述符添加了一个 L2 约束，以保证它们位于一个固定半径的超球面上，该步骤可以显著提高面部验证的性能，特别是在 IJB-A 数据集上实现了 0.909 的 True Accept Rate 以及 0.0001 的 False Accept Rate。

    Mar, 2017

  • 余弦相似度损失的隐蔽陷阱

    我们展示了在两种未被充分探索的情况下，两点之间的余弦相似度的梯度趋近于零：（1）如果一个点的幅度很大，或者（2）如果这两个点位于潜在空间的两端。令人意想不到的是，我们证明，优化点之间的余弦相似度会导致它们的幅度增加。因此，（1）在实践中是不可避免的。然后，我们观察到这些推导非常通用，适用于深度学习架构和许多标准的自监督学习（SSL）损失函数。这引导我们提出切割初始化（cut-initialization）：一种对网络初始化进行简单更改的方法，有助于所有研究的自监督学习方法更快地收敛。

    Jun, 2024

  • 利用梯度相似性调整辅助损失

    研究使用余弦相似度检测是否辅助损失有助于主要损失，证明该方法保证收敛到主要任务的临界点并在多任务学习和强化学习中实际发挥作用。

    Dec, 2018

  • SFace：用于强健人脸识别的 Sigmoid 受限高维球形损失

    本研究提出了一种新的损失函数 ——sigmoid 限制超球面损失（SFace），可缓解过度拟合问题，实现对模型的精细控制，有效地解决了大规模数据集的深度面部识别问题。

    May, 2022

  • CosFace: 大间隔余弦损失用于深度人脸识别

    本文提出基于余弦相似度的大间距余弦损失函数，提高了人脸识别深度卷积神经网络的性能，在 MegaFace Challenge、Youtube Faces、Labeled Face in the Wild 等公共数据集上达到了最先进的表现。

    Jan, 2018

  • X2-Softmax：人脸识别的边界自适应损失函数

    该论文提出了一种新的角度自适应边界损失函数 X2-Softmax，通过增加类别之间的角度来提供自适应边界，从而提高人脸识别的效果。

    Dec, 2023

  • 非可分目标函数的 DP-SGD

    使用新的 DP-SGD 变体解决相似性损失函数的梯度敏感度随着批量大小增长而增加的问题，并在 CIFAR-10 预训练和 CIFAR-100 微调任务中得到了与非私有模型接近甚至优于直接应用于相似性损失的 DP-SGD 的性能。

    Oct, 2023

  • 通过同源余弦损失函数学习深度特征进行人物识别

    本研究提出了一种新方法，通过训练一个网络来获得稳健和代表性特征，该方法通过比较和优化两个特征之间的余弦距离来解决人物识别的问题，同时减少内部差异，提高分类准确度。

    Feb, 2017

  • PGrad: 学习主要梯度用于领域泛化

    本文介绍了一种名为 PGrad 的新颖领域泛化培训策略，通过学习一个强大的梯度方向，并聚合采样轨迹的主方向，以忽略领域相关噪音信号并以主要参数动态元素为基础更新所有训练领域增强网络泛化能力与稳健性，该策略的实验表现在七个数据集上具有竞争力。

    May, 2023