Nov, 2023

Shadow：用于孪生网络高效训练的新型损失函数

PDF
TL;DR提出了一种名为 Shadow Loss 的新型损失函数，通过在损失计算期间压缩嵌入空间的维度，从而在不损失性能的情况下克服了现有方法在内存限制下面临的挑战。该损失函数通过在紧凑投影空间上从输入中学习嵌入的投影之间的距离，这些距离直接对应于类相似性的度量。通过投影到低维投影空间，我们的损失函数收敛更快，并且所得到的分类图像聚类具有更高的类间距离和更小的类内距离。与现有技术 Triplet Margin Loss 相比，Shadow Loss 不仅能降低嵌入维度以适应内存受限设备，还能在各种不同的数据集上稳定地表现出 5%-10% 的准确度提升。该提议的损失函数与模型无关，在多个经过测试的模型上表现良好。在平衡、不平衡、医学和非医学图像数据集上的有效性和鲁棒性表明，它不特定于特定的模型或数据集，而是始终表现出卓越的性能，并且使用更少的内存和计算资源。
similarity detectionmetric learningshadow lossembedding spacememory constraints
发现论文，激发创造
  • 通过两个新的基于距离的损失函数，强制执行度量学习中的类别可分性，实现少样本图像分类：SuSana Distance 就是你所需要的

    提出了两种不同的损失函数 ——Proto-Triplet Loss 和 ICNN loss，其中考虑了嵌入向量的重要性，并评估了训练后网络获得的嵌入的质量。在实验中，相比其他度量法，这些损失函数在 miniImagenNet 基准测试中将准确率显著提高了 2％，表明这些损失函数有能力使网络更好地推广到以前未见过的类别。

    May, 2023

  • 多视角三维形状检索的 Angular Triplet-Center Loss

    本文提出了一种基于三角形中心角损失的度量损失方法，在 3D 物体检索任务中，通过优化形状特征之间的余弦距离，从而实现在类内距离较小、类间距离较大的目标，并在 ModelNet40 和 ShapeNetCore 55 等数据集上取得了最新的性能。

    Nov, 2018

  • 角度损失的深层度量学习

    本研究提出了一种新的角度损失来学习更好的相似性度量，在三角形中约束负面点的角度具有大小不变性，并强制施加三阶几何约束，从而捕捉比对比损失或三重对损失更多的局部结构。

    Aug, 2017

  • Circle Loss：一种统一的对偶相似性优化视角

    本文提供了一个对深度特征学习进行相似性优化的观点，介绍了一种更灵活的 Circle 损失函数，并且在人脸识别、人员重新识别以及一些细粒度图像检索数据集上展示了 Circle 损失的卓越性能。

    Feb, 2020

  • 使用动态间隔的三重损失函数进行三维物体实例识别和姿态估计

    本论文提出了一种使用卷积神经网络进行局部对象在杂乱环境中的 3D 对象实例识别和姿态估计的方法，通过引入动态边界到多样性拓扑学习的三元组损失函数中，来在低维描述符空间上建立对象相似度模型，采用新背景噪声类型和表面法线等多种模态的图像数据进行训练，形成了更高维的特征表征以及更好的训练平衡性。

    Apr, 2019

  • 单目三维人脸重建的感知形状损失

    通过使用阴影线索，我们提出了一种新的适用于单目人脸捕捉的感知形状损失函数，该函数能够评估 3D 人脸估计的质量，并且能够优化单目 3D 人脸重建和深度神经网络回归，提高当前技术水平的结果。

    Oct, 2023

  • 利用孪生网络和对比损失进行语音情绪识别

    本文介绍一种利用对比损失函数来鼓励可学习特征的类内紧凑性和类间可分性的方法用于语音情感识别，结果表明该方法在 IEMOCAP 数据库上表现出比基准系统更好的性能。

    Oct, 2019

  • 学习图像聚类嵌入：三元组损失方法实证研究

    本文在嘈杂标签的假设下，使用 Triplet Loss 训练卷积神经网络学习能区分特征，并通过 K-means 和相关聚类评估三种 Triplet Loss 公式的聚类性能，提出一个新的公式优于现有方法，应用于 CIFAR-10 图像分类数据集。

    Jul, 2020

  • 使用三元组损失学习关键词检测的有效表示

    本文介绍一种利用三元组损失和变种 kNN 方法，以及基于音韵相似性的三元组挖掘方法相结合的表示学习技术，显著提高卷积网络的分类准确率，特别在语音识别领域中。作者还在 Google 语音命令数据集 V1 和 V2 中刷新最佳 SOTA 并超过 50% 的准确率提升。

    Jan, 2021

  • 基于修改距离损失的孪生神经网络在语音情感识别中的迁移学习

    使用 Siamese 网络进行跨语音情感识别的迁移学习，通过 fine-tuning 和优化 distance loss 可以提高识别准确性。

    Jun, 2020