本文提出了一种基于正交低秩嵌入的深度学习损失函数方法，用于同时提高图像分类的内部同类相似度和不同类之间的距离。该方法不需要手动选择训练样本，可以作为一个分类损失函数独立使用，并且可以提高深度网络的泛化能力、辨别能力和鲁棒性，特别是在数据 / 模型较小的情况下，能够显著提高 Stanford STL-10 数据集上的表现。

Dec, 2017

本文通过实验证明：监督对比损失学习到的嵌入空间的几何结构形成正交框架，而交叉熵损失学习到的嵌入空间的几何结构高度依赖于类大小；同时，通过选取不同的数据分组算法，加快正交框架的出现，为监督学习提供一种新的训练策略

Jun, 2023

我们提出了一种名为随机线性投影（RLP）损失的损失函数，通过该损失函数可以减轻复杂数据集上过拟合的问题。经过在基准数据集和典型合成例子上的实证研究，我们发现使用 RLP 损失训练的神经网络在性能方面取得了改进，且需要更少的数据样本，对加性噪声更加鲁棒，同时我们提供了支持我们实证结果的理论分析。

Nov, 2023

本文提出了聚类导向的表示学习 (COREL) 作为分类器的一个替代方法，可以建立起了一组高质量自然聚类的潜在表示。经过分析，不同的相似性函数可以满足不同的使用场景，其中余弦 - COREL 变体形成了一个一致的可聚类的潜在空间，而高斯 - COREL 变体在分类准确度上优于 CCE。

Dec, 2018

本研究旨在解决对比学习中普遍存在的不稳定问题，具体研究 InfoNCE 损失函数及其导数。我们揭示了这些损失函数表现出的一种限制行为，导致嵌入倾向于融合成一个奇异点的收敛现象，从而对后续的有监督学习任务中的分类准确性产生不利影响。通过理论分析，我们证明当嵌入被等化或限制在一个一维线性子空间时，它们代表了 InfoNCE 的一个局部最小值。我们的研究提出了一种创新策略，利用与精调阶段中通常使用的标记数据相同或更少的数据。我们提出的损失函数，正交锚回归损失，旨在解开嵌入聚类，显著增强每个嵌入的独特性，同时确保它们聚合到密集的、明确定义的聚类中。我们的方法在 CIFAR10 和 CIFAR100 数据集上通过仅使用传统标记要求的一小部分数据取得了显著改善，这一点可以从实验结果中得到证明。

Mar, 2024

本研究探讨了在最小化损失时，编码器输出空间内所寻求的类别性空间几何是否存在本质差异。同时提供实证证据表明，两种损失函数的优化行为存在显著不同，这将对神经网络的训练产生影响。

Feb, 2021

本文提出了一种基于 Soft Orthogonality (简称 SO) 的新方法来解决深度度量学习 (DML) 中代理点出现的问题，并结合数据高效的图像变换器 (DeiT) 作为编码器提取图片的上下文特征，以数据集检索等实验结果表明该方法在超越现有技术的同时，还具有更高的可靠性和实用性

Jun, 2023

本文提出基于余弦相似度的大间距余弦损失函数，提高了人脸识别深度卷积神经网络的性能，在 MegaFace Challenge、Youtube Faces、Labeled Face in the Wild 等公共数据集上达到了最先进的表现。

Jan, 2018

本文研究如何在存在噪声标签的情况下训练精确的深度神经网络。我们提出了一种名为 Active Passive Loss（APL）的框架来构建稳健损失函数，其结合了两种互相促进的稳健损失函数。实验表明，我们的新的损失函数家族可以在大噪声率下始终优于现有方法。

Jun, 2020

通过对卷积内核使用双倍块 Toeplitz 矩阵表示法而不是常见的内核正交化方法，我们开发了一种有效的方法来对卷积层施加过滤器正交性。我们的正交卷积方法不需要额外的参数和计算负载，并在广泛的任务中稳定性、鲁棒性和泛化性方面优于内核正交性替代方案。

Nov, 2019