使用高斯径向基函数神经网络学习活动子空间并发现重要特征

Jul, 2023

使用高斯径向基函数神经网络学习活动子空间并发现重要特征

Learning Active Subspaces and Discovering Important Features with Gaussian Radial Basis Functions Neural Networks

Danny D'Agostino, Ilija Ilievski, Christine Annette Shoemaker

TL;DR研究提出了一种新颖的修改版径向基函数神经网络模型，通过学习可变的精度矩阵，挖掘隐藏于精度矩阵的信息，展示了模型的活跃子空间、特征重要性排序等可解释性结果，并与同类模型进行比较，结果表明该模型不仅有着优异的预测性能而且表现出了可解释性的结果，可用于实际决策过程中。

Abstract

Providing a model that achieves a strong predictive performance and at the same time is interpretable by humans is one of the most difficult challenges in machine learning research due to the conflicting nature of these two objectives. To address this challenge, we propose a modificati

machine learning neural network precision matrix interpretable model dimensionality reduction

发现论文，激发创造

NeuralEF: 通过深度神经网络解构卷积核

论文研究了一个新的、广义的针对函数空间的目标函数，应用于机器学习中核函数和数据分布定义的积分算子的主特征向量的训练。该方法通过近似高斯牛顿矩阵来实现线性化的深度神经网络在现代图像分类数据集上的扩展，能够提供对多元函数的准确逼近。

Apr, 2022

基于谱神经网络的自动输入特征相关性

提出了一种使用谱重参数化来估计深度神经网络输入组件相对重要性的新方法，通过挑战合成和真实数据表明其有效性。

Jun, 2024

由广义高斯 RBF 生成的复制核希尔伯特空间的预约 $L^2$- 度量

应用广义高斯径向基函数（RBF）在机器学习算法中的性能优于其他函数，通过对比高斯 RBF 核函数、Sigmoid 函数和 ReLU 函数，本文展示了广义高斯 RBF 在核函数中的应用及其在核回归、支持向量机（SVM）和模式识别中的成果。

Dec, 2023

学习聚类和分类的变换

本研究提出了一种基于低秩变换学习的健壮子空间聚类和分类框架，其中学习的线性转换通过其凸替代核范数作为优化标准来恢复来自相同子空间的数据的低秩结构，并同时在来自不同子空间的数据之间强制产生最大分离结构，以实现更稳健的子空间聚类。所提出的框架通过大量实验表明，能够显着提高现有子空间聚类和分类方法的性能。

Sep, 2013

结构化径向基函数网络：多个假设预测的多样性建模

多模态回归问题可以通过结构化径向基函数网络来解决，该网络将多个假设预测器集成在一起，通过训练期间损失函数的 Loss 值形成质心 Voronoi tessellations，从而高效地插值这些 tessellations 并逼近多个假设的目标分布，同时使用只有两层神经网络的预测器控制多样性，达到了卓越的泛化性能和计算效率。

Sep, 2023

近似比集中更有效？平滑径向核推理的近似观点

探讨了正定核及其相关重现核希尔伯特空间的逼近性质，包括核算子和矩阵的特征值衰减、特征函数 / 特征向量的性质、核空间中函数的 “傅里叶” 系数以及核的拟合能力等，并给出了限制在离散数据点上的重现核希尔伯特空间球体的胖打散维度的明确界限，讨论了正定核的容量限制及其对梯度下降等算法的影响。

Jan, 2018

EigenGP: 自适应特征函数高斯过程模型

本研究提出了一种新的贝叶斯方法 ——EigenGP，它在稀疏有限模型中学习基础词典元素 —— 高斯过程的特征函数和先验精度。通过最大化模型边缘似然函数，从数据中学习基础词典元素和相应的先验精度，以及所有其他超参数。与其他稀疏贝叶斯有限模型不同，本方法中的特征函数作为核函数的有限线性组合存在于再生核希尔伯特空间中。实验结果表明 EigenGP 具有比其他稀疏高斯过程方法及相关向量机更优秀的预测性能。

Jan, 2014

深度特征空间：几何视角

本文提出了一种新的方法，用于可视化和理解神经网络输出层之前的向量空间，旨在揭示分类任务下的深层特征向量属性，特别是过拟合现象在特征空间中的本质和其对进一步应用的负面影响，并对其进行了真实应用场景的评估，证明了其突出性能优势。

Jun, 2020

关于核函数的近似方法

统计学习中的各种方法建立在再生核 Hilbert 空间中的核上。在应用中，核通常根据问题和数据的特征进行选择，然后用于在未观察到解释性数据的点处推断响应变量。本文考虑了在高维紧致集合中定位的数据，并且对核本身的近似进行了讨论。新的方法考虑了径向核函数的 Taylor 级数近似。对于单位立方上的 Gauss 核，本文建立了关联特征值的上限，该特征仅在指数方面呈多项式增长。新方法证实了比文献中考虑的较小正则化参数，从而导致更好的近似。该改进证实了像 Nyström 方法这样的低秩近似方法。

Mar, 2024

高维数据的随机特征映射谱

本文运用随机矩阵理论诱导的 “浓度” 现象对这些随机特征图 Gram 矩阵的谱分析，为更深入地理解非线性和数据统计学的相互作用提供了基础，从而实现了更好的随机特征技术调优。

May, 2018