von Mises-Fisher 损失：探索嵌入式几何模型用于监督式学习

ICCVMar, 2021

von Mises-Fisher 损失：探索嵌入式几何模型用于监督式学习

von Mises-Fisher Loss: An Exploration of Embedding Geometries for Supervised Learning

Tyler R. Scott, Andrew C. Gallagher, Michael C. Mozer

TL;DR研究了 embedding geometry 对 softmax losses 在分类和图像检索任务中的影响，并提出了一个基于 von Mises-Fisher 分布的概率分类器，在产生改进的 out-of-the-box 校准的同时，与现有技术方法相比具有竞争力。

Abstract

Recent work has argued that classification losses utilizing softmax cross-entropy are superior not only for fixed-set classification tasks, but also by outperforming losses developed specifically for open-set tasks including few-shot learning and retrieval. Softmax classifiers have been studied using different embedding geometries -- Euclidean, hyperbolic, a

softmax losses embedding geometry probabilistic classifier von mises-fisher distribution out-of-the-box calibration

发现论文，激发创造

监督对比学习剖析

本研究探讨了在最小化损失时，编码器输出空间内所寻求的类别性空间几何是否存在本质差异。同时提供实证证据表明，两种损失函数的优化行为存在显著不同，这将对神经网络的训练产生影响。

Feb, 2021

连续输出序列到序列模型的 von Mises-Fisher 损失训练

本研究提出了一种用连续嵌入层替代 Softmax 层的技术，使得生成的语言模型具有较大的词汇表并且具有比传统模型更高效的训练速度，在神经机器翻译任务上的表现也保持在业界领先水平。

Dec, 2018

SphereFace: 深度超球面嵌入用于人脸识别

本文提出了一种叫做 A-Softmax 的损失函数来训练卷积神经网络，以学习面部图像特征，使得最大内类距离小于最小类间距离，从而解决开放集（open-set）协议下的人脸识别问题。与之前的算法相比，该方法在 LFW、YTF 和 MegaFace Challenge 数据集上取得了更好的结果。

Apr, 2017

大规模图像分类的信息理论标签嵌入

本文介绍了一种用于训练多标签、大规模多类别图像分类模型的方法，通过将高维稀疏标签嵌入到具有单位范数的低维密集球体上，并将分类问题视为该球体上余弦相似度回归问题，其比基于逻辑回归的 sigmoid 交叉熵损失函数的监督方法更快更准确，经过在 300 million 高分辨率图像和 17,000 标签的数据集上测试，相对于逻辑回归，该方法收敛速度明显提高，平均精度也提高了 7%。

Jul, 2016

基于概率的显性球面空间上对比学习

通过将表示嵌入到球形空间中，借鉴 von Mises-Fisher 分布的思想，本研究在自监督对比学习中引入了一种将不确定性纳入考虑的新视角。我们介绍了 vMF 的非规范形式，并利用浓度参数 kappa 作为直接可解释的不确定性度量，不仅提供了表示空间的概率解释，还提供了根据数据损坏程度和特征校准模型置信度的方法。我们的实证结果表明，估计的浓度参数与测试时遇到的未知数据损坏程度强相关，能够进行故障分析，并改进现有的离群检测方法。

May, 2024

属于球面损失家族的 Softmax 替代方案探究

该论文研究了一些来自球形家族的损失函数，探讨它们是否可以替代传统的 log-softmax 损失函数，并发现这些替代方案在 MNIST 和 CIFAR-10 上的表现优于传统的损失函数。

Nov, 2015

使用词嵌入的非参数球形主题建模

本文提出使用 von Mises-Fisher 分布来建模单元球上的单词密度，以构建主题模型，并基于随机变分推理提出了一种高效的推断算法，实现了自然利用词嵌入的语义结构，同时能够灵活地发现主题数量。该方法在两个不同的文本语料库中拥有更好的主题连贯性并提供有效推理。

Apr, 2016

监督对比损失的神经坍缩几何工程

我们提出了一种修改对比损失函数来调整学习特征嵌入几何结构的方法，通过使用原型在每个批次中引导学习嵌入和原型的几何一致性，并在深度神经网络上基于基准视觉数据集进行了一系列实验证实。

Oct, 2023

在单位球上学习表示：在线连续学习应用

提出了一种基于记忆的、适合于在线连续学习的、使用最大后验估计原则学习单元球上分布的表示学习技术，其特点是通过固定方向来提高学习模型的 “健壮性”，并且可以适应于大规模的模型以及具有模糊边界的任务场景并取得了比现有技术更好的性能。

Jun, 2023

功率球分布

该篇研究论文探讨了在超球面上定义的概率模型，提出了一种新的 Power Spherical 分布用于解决已有 Von Mises-Fisher 分布中采样速度慢以及数值不稳定的问题，并在数字实验中证明其有效性，进而将其应用于一个基于 MNIST 数据集的变分自动编码器。

Jun, 2020