Nov, 2023
Shadow：用于孪生网络高效训练的新型损失函数
Shadow: A Novel Loss Function for Efficient Training in Siamese Networks
TL;DR提出了一种名为Shadow Loss的新型损失函数，通过在损失计算期间压缩嵌入空间的维度，从而在不损失性能的情况下克服了现有方法在内存限制下面临的挑战。该损失函数通过在紧凑投影空间上从输入中学习嵌入的投影之间的距离，这些距离直接对应于类相似性的度量。通过投影到低维投影空间，我们的损失函数收敛更快，并且所得到的分类图像聚类具有更高的类间距离和更小的类内距离。与现有技术Triplet Margin Loss相比，Shadow Loss不仅能降低嵌入维度以适应内存受限设备，还能在各种不同的数据集上稳定地表现出5%-10%的准确度提升。该提议的损失函数与模型无关，在多个经过测试的模型上表现良好。在平衡、不平衡、医学和非医学图像数据集上的有效性和鲁棒性表明，它不特定于特定的模型或数据集，而是始终表现出卓越的性能，并且使用更少的内存和计算资源。