May, 2024

梯度提升映射用于降维与特征提取

PDF
TL;DR我们提出了一种监督降维方法 Gradient Boosting Mapping (GBMAP)，其通过一层感知器定义的弱学习器的输出来定义嵌入，从而为监督学习任务提供更好的特征，使得简单线性模型能够与最先进的回归器和分类器相竞争，并能够自动忽略与监督学习任务无关的方向。
supervised learningdimensionality reductionembeddingdistance measuresregression
发现论文，激发创造
  • BIER 强化独立嵌入的深度度量学习

    本文研究了深度神经网络中图像对的相似性函数的学习方法，通过利用嵌入集合中的独立性来提高嵌入的鲁棒性，并借助在线梯度提升问题来划分深度网络的最后嵌入层。通过提出两个损失函数来增加集合的多样性，可用于权重初始化过程或训练期间，对图像检索任务的评估表明，我们的度量学习方法在多个数据集上均取得了比业界领先方法更好的表现。

    Jan, 2018

  • 通过提升的结构特征嵌入进行深度度量学习

    本文介绍了一种利用训练批次的算法，将向量的成对距离提升到成对距离矩阵，从而以学习结构化预测目标的方式来优化最先进的特征嵌入方法，同时在 CUB-200-2011、CARS196 和 Online Products 数据集上进行实验，证明在所有实验的嵌入尺寸上都能够显著提高。

    Nov, 2015

  • CBMAP：基于聚类的流形逼近和投影用于降维

    介绍了一种基于聚类的降维方法 CBMAP，旨在同时保留全局和局部结构，提供速度、可扩展性和对超参数依赖较小的解决方案，满足机器学习应用中对测试数据的低维投影的需求。

    Apr, 2024

  • 归纳全局与局部流形逼近与投影

    GLoMAP 及其归纳版本 iGLoMAP 是一种新颖的流形学习方法，用于非线性降维和高维数据可视化，能有效地保留局部和全局的距离估计，并通过优化过程逐步展示从全局到局部形成的进展。iGLoMAP 通过深度神经网络使得在未见过的数据点上能够提供低维嵌入而无需重新训练算法，并适用于小批量学习，以加快梯度计算速度。经过与当前最先进的方法进行竞争性实验，在模拟数据和真实数据环境下成功应用了 GLoMAP 和 iGLoMAP。

    Jun, 2024

  • 高维度中的嵌入向量估计

    基于一种概率模型，研究了嵌入学习在离散数据中的可学习性，并提出了一种用于估计的低秩近似消息传递方法，探讨了样本数量、词项频率和嵌入相关性对概率分布的影响。通过对合成数据和真实文本数据的模拟验证了理论研究的可行性。

    Dec, 2023

  • 线性分类中降维的作用

    使用辅助坐标方法，我们提出了一种简单，高效的算法来训练非线性 DR 和分类器的组合，并将其应用于具有线性 SVM 的 RBF 映射。该非线性低维分类器的分类错误率竞争力与最先进技术相当，但在训练和测试过程中非常快速，并允许用户轻松权衡运行时间和分类精度。同时，我们还研究了非线性 DR 在线性分类中的作用以及 DR 映射，潜在维度数量和类别数量之间的相互作用。

    May, 2014

  • 高维数据的随机特征映射谱

    本文运用随机矩阵理论诱导的 “浓度” 现象对这些随机特征图 Gram 矩阵的谱分析，为更深入地理解非线性和数据统计学的相互作用提供了基础，从而实现了更好的随机特征技术调优。

    May, 2018

  • 多目标遗传编程用于流形学习：平衡质量与维度

    本研究提出了一种可解释的 Manifold Learning 方法，在不降低数据质量的前提下进行维度降低，具有多目标优化功能和高效简洁的特点，适用于数据分析的应用。

    Jan, 2020

  • 遗传程序设计能否实现流形学习？

    本文提出了一种称为 GP-MaL 的演化流形学习方法，它使用可解释的树来将高维数据映射到低维空间，可以有效地降低数据特征维度，且模型具有可解释性，可以用于新数据。

    Feb, 2019

  • 高维贝叶斯优化中线性嵌入的重新审视

    本文通过对现有线性嵌入的文献进行研究后，识别出其中的一些关键问题和误解，并在解决这些问题的基础上，极大地提高了利用线性嵌入进行 Bayesian 优化的效能，包括机器人运动中学习步态策略等方面。

    Jan, 2020