Nov, 2023

用于评估无监督表示学习的度量空间幅度

PDF
TL;DR度量空间的规模最近被确定为一种新型不变量，它可以在多个尺度上衡量空间的 ' 有效大小 '。通过捕捉数据的几何和拓扑特性，度量空间可以解决无监督表示学习任务中的挑战。我们形式化了有限度量空间的度量函数之间的新概念差异度，并用它们导出了一种用于降维任务的质量度量。我们的度量可以在数据扰动下保持稳定，计算效率高，并且可以对嵌入进行严格的多尺度比较。我们通过一个实验套件展示了我们度量的实用性，其中包括数据可视化的比较。
magnitudemetric spaceinvariantdimensionality reductiondata visualisations
发现论文，激发创造
  • 神经网络中度量空间和泛化能力

    本文介绍了一种用 topology 中的新型不变量.magnitude 对深度神经网络中的内部表示进行研究、并提出了一种新方法来确定其泛化能力。我们在理论上连接了 magnitude 维度和泛化误差，实验结果表明，所提出的框架可以成为泛化误差的良好指标。

    May, 2023

  • 基于度量学习的图形标签传播方法

    提出了一种算法，旨在学习最适合构建图的向量表示，以便在其上有效地解决半监督算法的任务。

    Nov, 2015

  • 学习 Mahalanobis 距离度量的样本复杂度

    这项工作提供了基于 PAC 风格的样本复杂度给监督式度量学习，并通过使用数据分布的结构，展示了适用于特定隐含复杂的例子的适当匹配的速率。实验也表明，规范化度量学习优化准则可以帮助适应数据集的固有复杂性，从而提高泛化性能。

    May, 2015

  • 可转移的深度度量学习用于聚类

    提出了一种学习跨多个不同领域数据集应用的传输度量的框架，在使用基于嵌入空间的指定聚类的情况下，在少量训练集和浅层网络的情况下，我们在多个变量复杂度的数据集上实现与最新技术水平相当的结果。

    Feb, 2023

  • 自监督学习中均一性度量的重新思考

    本研究通过分析现有的均匀性度量方法的局限性，提出了一个新的均匀性度量指标，该指标能更准确地衡量学习表示的均匀性，并在各种自监督学习方法中作为辅助损失应用时显著提升它们在下游任务中的性能。

    Mar, 2024

  • 神经表征的广义形状度量

    为了理解生物和人工神经网络的操作，研究者们需要一个标准化的工具集来量化其结构等因素对神经表征的影响，这篇论文提出了一族量化表征不同神经网络之间相似性的度量空间，利用这个框架使得神经网络表征可以整合进任意的机器学习方法中，然后利用大规模生物和深度学习数据集来验证这些方法，最终找出了神经表征之间与结构和性能之间的关系。

    Oct, 2021

  • 基于设施位置法的深度度量学习

    该研究利用深度网络以端到端的方式学习表示和相似度度量，在全局测度学习的基础上优化深度测度嵌入，进而获得在分类和检索任务上的最先进表现。

    Dec, 2016

  • 高维潜空间中可靠的散布度量

    本文提出并验证八种数据分布度量方法，相对于现有方法，其中大部分具有改进效果，建议使用一种基于主要成分的度量方法和一种基于熵的度量方法来评估模型的数据分布情况。

    Dec, 2022

  • 子空间最小二乘多维缩放

    本文介绍了一种基于最小二乘 (LS-MDS) 的多维缩放方法，并将其置于频谱域中进行了分析，得出了距离缩放的多重分辨率属性，从而加速了优化过程并实现了良好的嵌入效果。

    Sep, 2017

  • 数据形态：数据分布的内在距离

    用 Gromov-Wasserstein 距离的下界，通过对所有数据矩计算，基于内在和多尺度的方法对比数据流形。实验证明，该方法能够有效地识别不同维度未对齐数据的结构，并展示了在评估生成模型质量方面的功效。

    May, 2019