本文提出了一种新的无监督学习和数据降维算法,该算法利用邻域连接矩阵的部分特征分解将未组织的数据点表示为流形上的全局坐标,并使用切空间对流形的局部几何特征进行建模。作者通过实验证明了该算法的正确性,并指出了进一步研究的几个理论和算法问题。
Dec, 2002
通过学习具有少量维度流形的生成建模技术,提出一种新的建模流方法,实现了对数据的高效表示,从而更好地近似目标分布并产生较低的 FID 分数。
Oct, 2023
本文提出了一种基于流形学习的哈希方法,包括解决样本外数据问题的有效归纳解决方案和用非参数流形学习作为哈希方法基础的过程,以提高现有算法的规模,并展示了基于 t-SNE 的哈希方法在大规模基准数据集上的优越性和通过最小化量化误差以及加入标签信息等方法进一步提高语义检索性能的应用。
Dec, 2014
线性因果解缠是一种最近的因果表示学习方法,通过具有它们之间因果依赖关系的潜在变量来描述一组观察变量。本研究研究了线性因果解缠的可识别性,在假设对多个情境的数据有访问权限的情况下,每个情境通过对一个潜在变量进行干预来确定参数,我们给出了一个基于耦合张量分解计算参数的构造性证明。对于软干预,通过研究一组多项式方程,我们找到了与观测数据一致的潜在图和参数的等价类。我们的结果基于非零高阶累积量的存在,这意味着变量的非高斯性。
Jul, 2024
基于机器学习和数据科学的关键方法之一,流形学习旨在揭示高维空间中复杂非线性流形内部的内在低维结构。我们提出了一种可扩展的流形学习方法,可以高效地处理大规模和高维数据,从而应用于可视化、分类等领域。
Jan, 2024
本研究探讨了深度神经网络在处理时间依赖性信号方面的表现,结果显示语音模型会丢弃特定说话人的噪声信号,而保留与任务相关的语音和音素信息,并在后续层级中出现更高层次的概念表示,此外还展示了深度学习在不同时刻从输入中提取任务相关特征,以实现不变语音识别的能力。
Mar, 2020
通过使用克隆结构因果图,可以获得与 transformer-based 大型语言模型相当的上下文学习能力,并且此方法具有良好的可解释性,其关键属性是学习模板(模式)电路以进行模式完成,并以上下文敏感的方式检索相关模板并重新绑定新令牌。
Jun, 2023
本文介绍了一种基于流形学习的紧凑二进制哈希算法,解决了流形学习在大规模嵌入中的问题,并提出了一个有效的方法来解决样本外数据问题,特别是基于 t-SNE 实现的哈希算法。
Mar, 2013
利用无需调参的基于流形的重新嵌入的方法(LLE-INC)改进了基于提示的分类,并且在参数更新后可进一步提高分类性能。对 LLaMA-7B&13B 的实验结果表明,LLE-INC 是一种高效的无需调参的分类方法,适用于超大规模语言模型。
Sep, 2023
GLoMAP 及其归纳版本 iGLoMAP 是一种新颖的流形学习方法,用于非线性降维和高维数据可视化,能有效地保留局部和全局的距离估计,并通过优化过程逐步展示从全局到局部形成的进展。iGLoMAP 通过深度神经网络使得在未见过的数据点上能够提供低维嵌入而无需重新训练算法,并适用于小批量学习,以加快梯度计算速度。经过与当前最先进的方法进行竞争性实验,在模拟数据和真实数据环境下成功应用了 GLoMAP 和 iGLoMAP。
Jun, 2024