Mar, 2024

基于变分信息瓶颈的距离度量学习模型

PDF
TL;DR本文首次将变分信息瓶颈与度量学习模型相结合，提出了一种新的度量学习模型 VIB-DML（Variational Information Bottleneck Distance Metric Learning），用于评分预测，通过解耦潜在空间特征向量，限制潜在空间特征向量的互信息以提高模型的鲁棒性并满足欧几里得距离的假设。实验证明，VIB-DML 具有出色的泛化能力，与通用度量学习模型 MetricF 相比，预测误差降低了 7.29%。最后，本文通过实验证明了 VIBDML 的强鲁棒性。
发现论文，激发创造
  • 确定性多视角聚类的可微信息瓶颈

    通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。

    Mar, 2024

  • 自适应密度判别度量学习

    本文针对之前的距离度量学习算法中存在的一些问题，提出了一种通过分布模型在表示空间中自适应评估相似性，并通过惩罚类别分布重叠实现局部判别的新方法，在多项任务上取得了最新的分类结果，并提高了所学表示的属性集中度和层次恢复能力。

    Nov, 2015

  • 深度变分多元信息瓶颈 —— 变分损失的框架

    通过信息论，我们提出了一个可以重新演绎和推广现有变分方法，并设计新方法的统一原则。我们的框架基于多变量信息瓶颈的解释，其中两个贝叶斯网络相互权衡。我们将第一个网络解释为编码器图，指定了在压缩数据时要保留哪些信息；我们将第二个网络解释为解码器图，为数据指定了生成模型。利用这个框架，我们重新演绎了现有的降维方法，如深度变分信息瓶颈 (DVIB)，Beta 变分自动编码器 (beta-VAE) 和深度变分规范相关分析 (DVCCA)。该框架在 DVCCA 算法族中自然引入了一个压缩和重建之间的权衡参数，从而产生了新的 Beta-DVCCA 算法族。此外，我们推导出了一种新的变分降维方法，深度变分对称信息瓶颈 (DVSIB)，它可以同时压缩两个变量以保留它们压缩表示之间的信息。我们实现了所有这些算法，并在经过修改的噪声 MNIST 数据集上评估它们产生共享低维潜空间的能力。我们展示了与数据结构更匹配的算法 (Beta-DVCCA 和 DVSIB) 如何通过分类准确性和潜变量的维度来测量产生更好的潜空间。我们相信这个框架可以用来统一其他多视图表示学习算法，此外，它还为推导问题特定的损失函数提供了一个直观的框架。

    Oct, 2023

  • 基于方向统计的深度度量学习在图像分类和检索中的应用

    本文提出了一种基于余弦相似度的 DDML 方法，以更好地利用 L2 归一化，并提出了一种基于 von Mises-Fisher 分布的新型损失函数来学习子空间结构，加上一种新的高效学习算法可以更好地捕捉嵌入空间的整体结构，并在几个标准数据集上进行分类和检索实验，证明我们的方法具有良好的性能和较简单的训练过程。

    Feb, 2018

  • 引导式深层度量学习

    本文提出了一种新的由两个独立模型构成的度量学习结构 Guided Deep Metric Learning，通过使用 Few-Shot Learning 的角度来生成一个基于带标签数据的先验知识的减少的假设空间，之后通过离线的知识蒸馏方案来指导或规则化学生模型的决策边界，提高在分布偏移下的一般化，并获得了高达 40% 的 (Recall@1, CIFAR10) 改进。

    Jun, 2022

  • 深度变分信息瓶颈

    本文提出 “Deep Variational Information Bottleneck” 方法，通过可变分近似来将信息瓶颈模型参数化，使用神经网络和重新参数化技巧进行高效训练。结果显示，使用 VIB 优化训练的模型在泛化性能和对抗攻击鲁棒性方面优于其他正则化方法。

    Dec, 2016

  • 大规模距离度量学习及其不确定性

    本文提出了一种保持边界的度量学习框架，同时学习距离度量和潜在样本。该方法在处理大规模数据集时具有高效性，并且可以使学习的度量对数据不确定性具有鲁棒性，并且通过实验证明了该方法的有效性和高效性。

    May, 2018

  • 密度自适应的深度度量学习

    本论文提出将数据的密度测量集成到 DML 的优化框架中，以在端到端的训练过程中自适应平衡类间相似性和类内变异性，通过在三种嵌入方式上增加密度适应性，不断地在三个公共数据集上展示清晰的改善。

    Sep, 2019

  • 无监督聚类的变分信息瓶颈：深度高斯混合嵌入

    本文提出了一种无监督的生成性聚类框架，将变分信息瓶颈和高斯混合模型相结合。使用变分信息瓶颈方法将潜空间建模为高斯混合物，并导出了一个代价函数的界限，并提供了一种可计算它的变分推断类型算法。通过神经网络参数化编码器映射，并通过蒙特卡罗采样逼近边界，并用随机梯度下降进行优化。提供了真实数据集的数值结果，证明了我们方法的有效性。

    May, 2019

  • 核机器距离度量学习

    本文探讨将三种流行的马氏度量学习算法作为预处理程序，在支持向量机（SVM）- RBF 分类器上的作用。结果表明，这种算法效果并不理想。作者提出一种新的算法 —— 支持向量度量学习（SVML），它无缝地将 Mahalanobis 度量的学习与 RBF-SVM 参数的训练相结合。实验证明，SVML 在精度方面优于所有替代方法，并成为交叉验证选择模型的标准欧几里得度量的严肃替代方案。

    Aug, 2012