Sep, 2019

随机原型嵌入

PDF
TL;DR通过一种概率方法所提出的基于监督的深度嵌入方法，可以将来自一个领域的输入映射到一个表征空间中，其中相同类别的实例彼此靠近，而不同类别的实例则相距很远。与现有的局限于确定性的方法不同，该方法假定了围绕类别原型的存在，采用正态分布来处理实例。同时，相对于噪声和超出分布范围的输入，该方法在小样本学习上的表现也更好，并通过各种方式提高了性能。
supervised deep-embedding methodsprobabilistic methodprototypical networksfew-shot learninguncertainty
发现论文，激发创造
  • 用带保障实例嵌入建模不确定性

    提出了一种使用随机变量作为嵌入空间的表示方式，通过降低不确定性 (Ambiguity) 提高了图像匹配和分类任务的性能，学到了更有结构的嵌入空间并能计算与下游性能相关的每个示例的不确定性测量。

    Sep, 2018

  • 基于原型的联合嵌入方法提升 Softmax 分类器的可解释性

    我们提出了一种基于原型的方法来改善 softmax 分类器的可解释性，通过对原型进行随机采样生成可理解的预测置信度，并展示了对于分布外数据的潜在检测能力。通过修改模型架构和训练，使用与训练数据集中任意一组类别示例的相似性进行预测，我们获得了对贡献于预测的典型示例进行采样的能力，从而为模型的决策提供基于实例的解释。此外，通过学习模型潜在空间中图像之间的相对距离，我们获得了一种比 softmax 置信度更能检测分布外数据的不确定性度量。

    Jul, 2024

  • 预定义原型的类内分离与解缠

    该研究论文提出了一种基于人工指定标准预定义原型的原型学习方法，其可以增加类别之间的嵌入可分性并解耦嵌入的不同方差因素，从而实现可解释的预测。通过提供实验证明了该方法的优势。

    Jun, 2024

  • 高斯分布原型混合与生成模型相结合的可解释的图像分类

    这篇论文介绍了一种新的原型分布生成学习方法，名为 MGProto，它使用高斯混合模型表示原型分布，并结合原型多样性目标函数来提高表示能力和减少冗余，同时利用其生成性质实现了有效的异常样本检测。实验结果表明 MGProto 在分类和异常样本检测方面取得了最先进的性能，并具有令人鼓舞的可解释性结果。

    Nov, 2023

  • 自监督学习中概率嵌入潜力揭示

    自我监督学习在无标签数据中获取有意义的表示方面发挥了关键作用。在信息论框架内开发自我监督模型，我们提出以随机嵌入方式显式建模表示，并评估其对性能、信息压缩和超出分布检测的影响。研究结果表明，在表示和损失空间中，限制一个空间可能会影响另一个空间，从而导致性能下降。此外，我们的发现表明，在损失空间引入额外的瓶颈可以显著增强检测超出分布示例的能力，只利用表示特征或其潜在分布的方差。

    Oct, 2023

  • 使用概率嵌入进行点云实例分割

    本文提出了一种新的点云实例分割框架，其中包括嵌入步骤和聚类步骤。嵌入步骤中，每个点用三元正态分布表示，聚类步骤中，提出了一种有利于语义分割和聚类的新损失函数，并在 PartNet 数据集上实验得到了显著的改进。

    Nov, 2019

  • 平滑嵌入证明的少样本学习

    本研究将随机平滑技术扩展到映射输入到归一化嵌入的少样本学习模型中，并分析了这些模型的 Lipschitz 连续性，提出了针对有界扰动的鲁棒性证书。

    Feb, 2022

  • 深度生成模型中的随机反向传播和近似推理

    本文介绍了一种利用深度神经网络和近似贝叶斯推理相结合的广义深度生成模型，并引入了用于表示近似后验分布的识别模型，并利用随机反向传播来开发算法，实现生成和识别模型参数的联合优化，最终将模型应用于实际数据集，生成更真实的分布、准确地恢复缺失数据，并在高维数据的可视化上发挥了重要作用。

    Jan, 2014

  • 嵌入式类模型和无样本元训练的少样本学习

    该研究提出了一种适用于任意类别和任意样本数的少样本学习嵌入方法，通过定义隐式的类别表示函数和学习原型和模型参数来实现，其中类别嵌入涵盖了度量学习，并能够在不拥挤的类别表示空间中添加新类别，并取得了基准数据集最好的性能表现。

    May, 2019

  • 超球原型网络

    本研究提出了超球形原型网络，利用高维球面的极端分离来定义类别原型，并通过数据无关型优化将原型定位于球面上，从而实现了分类和回归的统一以及多任务学习的优化

    Jan, 2019