在单位球上学习表示：在线连续学习应用

Jun, 2023

在单位球上学习表示：在线连续学习应用

Learning Representations on the Unit Sphere: Application to Online Continual Learning

Nicolas Michel, Giovanni Chierchia, Romain Negrel, Jean-François Bercher

TL;DR提出了一种基于记忆的、适合于在线连续学习的、使用最大后验估计原则学习单元球上分布的表示学习技术，其特点是通过固定方向来提高学习模型的 “健壮性”，并且可以适应于大规模的模型以及具有模糊边界的任务场景并取得了比现有技术更好的性能。

Abstract

We use the maximum a posteriori estimation principle for learning representations distributed on the unit sphere. We derive loss functions for the von mises-fisher distribution and the angular Gaussian distributi

unit sphere representation learning continual learning memory-based technique von mises-fisher distribution

发现论文，激发创造

优化具有连续对称性破缺模型的方法改进

本文介绍了一种基于规范理论（gauge theory）的优化算法，用于加速表示学习模型在时间序列数据上的收敛速度，并提高诸如矩阵分解和词嵌入模型的解释性。此外，还介绍了一种将现代文字转换为历史词汇的应用实例。

Mar, 2018

在线持续学习的学习等角表示

我们提出了一种利用神经坍塌现象的高效在线持续学习方法，通过在表示空间中进行预备数据训练和残差修正，诱导神经坍塌形成简单光角紧框架（ETF）结构，使得连续学习的模型在仅进行单个时期的训练后更好地适应流数据。在使用 CIFAR-10/100、TinyImageNet、ImageNet-200 和 ImageNet-1K 进行了大量实证验证后，我们证明了我们提出的方法在各种在线持续学习场景中（如不相交和高斯调度连续（即无边界）数据设置）明显优于现有方法。

Apr, 2024

基于概率的显性球面空间上对比学习

通过将表示嵌入到球形空间中，借鉴 von Mises-Fisher 分布的思想，本研究在自监督对比学习中引入了一种将不确定性纳入考虑的新视角。我们介绍了 vMF 的非规范形式，并利用浓度参数 kappa 作为直接可解释的不确定性度量，不仅提供了表示空间的概率解释，还提供了根据数据损坏程度和特征校准模型置信度的方法。我们的实证结果表明，估计的浓度参数与测试时遇到的未知数据损坏程度强相关，能够进行故障分析，并改进现有的离群检测方法。

May, 2024

元学习表征用于连续学习

本文提出了一种称为 OML 的目标，其直接最小化灾难性干扰，通过学习在持续学习的在线更新过程中加速未来学习和对遗忘有弹性的表示，我们表明可以学习到更有效的在线更新的自然稀疏表示，并且该算法是现有持续学习策略，如 MER 和 GEM 的有效补充，最后，我们证明了通过 OML 学习的基本在线更新策略与基于重演的持续学习方法具有相同的竞争力。

May, 2019

von Mises-Fisher 损失：探索嵌入式几何模型用于监督式学习

研究了 embedding geometry 对 softmax losses 在分类和图像检索任务中的影响，并提出了一个基于 von Mises-Fisher 分布的概率分类器，在产生改进的 out-of-the-box 校准的同时，与现有技术方法相比具有竞争力。

Mar, 2021

在连续空间上学习条件分布

研究的主题是在多维单位盒子上基于样本的学习条件分布，采用聚类方法，在特征空间中的变化查询点附近聚类数据来创建目标空间的经验度量。聚类方案包括基于固定半径球和最近邻的方法，通过收敛速率的上界确定最佳的半径和邻居数量。通过在实践中进行经验分析，我们的建议是将最近邻方法结合到神经网络训练中，因为它在实践中的性能更好。训练过程利用随机二进制空间划分进行近似最近邻搜索以提高效率。另外，我们使用 Sinkhorn 算法和稀疏强制传输计划。经验研究结果表明，通过适当设计结构，神经网络能够在局部适应适当的 Lipschitz 连续性水平。用于可复现性的代码可在 https://github.com/zcheng-a/LCD_kNN 找到。

Jun, 2024

使用词嵌入的非参数球形主题建模

本文提出使用 von Mises-Fisher 分布来建模单元球上的单词密度，以构建主题模型，并基于随机变分推理提出了一种高效的推断算法，实现了自然利用词嵌入的语义结构，同时能够灵活地发现主题数量。该方法在两个不同的文本语料库中拥有更好的主题连贯性并提供有效推理。

Apr, 2016

连续学习的统一贝叶斯视角

这篇论文介绍了一种新的 Bayesian 衍生连续学习损失函数，该函数不仅仅依赖于早期任务的后验分布，而是通过改变似然项自适应地调整模型，并将先验和似然项结合在一个框架下。

Feb, 2019

使用单侧过度估计的不对称损失逼近进行持续学习

本文提出了一种利用非对称二次函数逼近真实损失函数的方法来解决深度神经网络中的灾难性遗忘问题和大规模任务可扩展性问题的连续学习框架，并通过多个挑战性基准数据集的实验结果表明该方法优于现有方法，且可达到接近上限性能。

Aug, 2019

具有领域感知分类表示的通用增量学习

本文提出一种基于 EM 框架的领域感知的持续学习方法来应对在增量学习中类分布和域分布的变化问题，使用基于 von Mises-Fisher 混合模型的灵活类表示来捕获类内结构，采用内部平衡和交叉类数据的处理方式来设计双层平衡记忆，并结合蒸馏损失实现更好的稳定性和可塑性权衡。经过大量实验，表明该方法在三个基准数据集上均优于现有方法。

Apr, 2022