Jun, 2024

余弦相似度损失的隐蔽陷阱

PDF
TL;DR我们展示了在两种未被充分探索的情况下，两点之间的余弦相似度的梯度趋近于零：（1）如果一个点的幅度很大，或者（2）如果这两个点位于潜在空间的两端。令人意想不到的是，我们证明，优化点之间的余弦相似度会导致它们的幅度增加。因此，（1）在实践中是不可避免的。然后，我们观察到这些推导非常通用，适用于深度学习架构和许多标准的自监督学习（SSL）损失函数。这引导我们提出切割初始化（cut-initialization）：一种对网络初始化进行简单更改的方法，有助于所有研究的自监督学习方法更快地收敛。
gradientcosine similarityunder-explored settingslatent spacecut-initialization
发现论文，激发创造
  • 利用梯度相似性调整辅助损失

    研究使用余弦相似度检测是否辅助损失有助于主要损失，证明该方法保证收敛到主要任务的临界点并在多任务学习和强化学习中实际发挥作用。

    Dec, 2018

  • 余弦归一化：在神经网络中使用余弦相似度代替点积

    该研究探讨使用余弦相似度或中心余弦相似度（皮尔逊相关系数）来替代神经网络中点积计算，从而达到较好的正则化效果，实验结果表明，余弦正则化优于其他正则化技术。

    Feb, 2017

  • P2SGrad：优化深度人脸模型的精细梯度

    通过设计梯度，直接更新深度神经网络，以此来解决采用 cosine-based softmax 损失函数可能会出现的超参数敏感性的问题。我们使用 P2SGrad 梯度替代传统的损失函数，该方法利用余弦相似性代替分类概率。在三个人脸识别的基准测试（LFW， MegaFace 和 IJB-C）上的结果表明，P2SGrad 稳定，鲁棒性高，且在所有三个基准测试中实现了最新的性能表现。

    May, 2019

  • 嵌入向量的余弦相似度真的只是相似性吗？

    用于量化高维对象之间语义相似度的余弦相似度在实践中比未归一化的嵌入向量点积表现有时更好、有时更差。通过研究基于正则化线性模型的嵌入，我们得出了余弦相似度可以产生任意且无意义的相似度的结论。因此，我们提醒不要盲目使用余弦相似度，并提出替代方法。

    Mar, 2024

  • Circle Loss：一种统一的对偶相似性优化视角

    本文提供了一个对深度特征学习进行相似性优化的观点，介绍了一种更灵活的 Circle 损失函数，并且在人脸识别、人员重新识别以及一些细粒度图像检索数据集上展示了 Circle 损失的卓越性能。

    Feb, 2020

  • 基于单余弦相似度学习目标的深度哈希

    提出了一种具有单一学习目标的深层哈希模型，它通过最大化连续码和其对应的二元正交码之间的余弦相似度来确保哈希码的区分度和量化误差的最小化，并且可以通过批量标准化层和标签平滑方法来实现码平衡和多标签分类，这样可以消除各种损失函数的权重调整所带来的麻烦。实验结果表明，该模型在三个大规模实例检索基准测试上的表现优于现有的多损失哈希模型。

    Sep, 2021

  • 损失函数中存在奇异点

    通过实验证明，随着数据集的规模增大，损失梯度的大小会形成一个奇点，梯度下降算法将迅速将神经网络接近该奇点，并且进一步的训练发生在该奇点附近。该奇点解释了神经网络损失函数 Hessian 矩阵的各种现象，如在稳定性的边缘进行训练和梯度在顶部子空间中的集中。一旦神经网络接近奇点，顶部子空间对学习的贡献很小，即使它构成了大部分梯度。

    Jan, 2022

  • 深度线性分类中的隐式偏见：初始化规模与训练准确性

    研究了在 “对角线线性网络” 上最小化指数损失的梯度流轨迹及其隐式优化偏差的详细渐近研究，揭示了 “核” 与非 “核”（“丰富” 或 “活跃”）状态之间的转换如何受初始缩放和最小化训练损失的精度之间的关系控制，结果表明，梯度下降的某些极限行为仅在荒谬的训练精度（远远低于 $10^{-100}$）时才能发挥作用。此外，在合理的初始化尺度和训练精度下，隐式偏差更为复杂，超出了这些极限的范畴。

    Jul, 2020

  • 使用余弦损失函数对小数据集进行无预训练深度学习

    本文研究了使用余弦相似度损失函数进行小数据集分类的问题，发现与分类交叉熵损失函数相比，余弦损失函数在只有极少标本的数据集上具有更高的准确性，在使用类别树的先前知识时可以进一步提高分类性能。

    Jan, 2019

  • 两次齐次神经网络中初始参数微小趋向与马鞍点的方向收敛

    本文研究了初始接近原点的两均勻神經網絡的梯度流動力學，對於方塊和邏輯損失，會有足夠長的時間在原點的附近，使神經網絡的權重大約收斂於量化神經網絡輸出和相應標籤在訓練數據集上相關性的 Karush-Kuhn-Tucker（KKT）點；方塊損失下神經網絡經常在接近原點的地方產生鞍點，本文在此基礎上展示了小幅度權重在某些鞍點附近的類似方向收斂。

    Feb, 2024