kernel approximation | BriefGPT

关键词kernel approximation

搜索结果 - 13

斯坦随机特征回归
在大规模回归问题中，通过通过定义核函数的谱密度，利用 Monte Carlo 抽样生成有限的样本集合以形成近似的低秩高斯过程（GP），随机 Fourier 特征（RFFs）显著提高了 GP 的计算可扩展性和灵活性。然而，RFFs 在核逼近和
PDFa month ago
Spectraformer: Transformer 的统一随机特征框架
使用不同的核逼近和核学习技术进行注意力的线性化已显示出潜力，本文引入了 Spectraformer，这是一个用于近似和学习 Transformer 线性化注意力核函数的统一框架，通过对多种组件函数和权重矩阵的组合进行实验证明，我们发现一种新
PDFa month ago
终身赌徒优化：无先验和无遗憾
本文提出 LIBO 算法通过元学习逐步逼近真实核函数以解决序列化 Bandit 优化任务，可配合线性或基于核函数的 Bandit 算法实现次线性的令人满意的性能，文章同时介绍了以联邦学习方式解决序列化 Bandit 优化任务的 F-LIBO
PDF2 years ago
ICLR使用随机拉普拉斯特征在双曲空间中学习
本文介绍了一种利用超几何空间的嵌入方法提高图数据的建模效率和性能的新算法，以及如何通过 Laplace 算子的本征函数来逼近超几何空间中的等度不变核，从而更好地实现了超几何网络的建模。
PDF2 years ago
傅立叶稀疏杠杆分数与近似核学习
在近似理论中，限制 Fourier 稀疏函数的杠杆分数是纯数学兴趣的研究内容之一。本文扩展了先前对于均匀分布的不同研究结果，证明了 Guassian 和 Laplace 分布中 Fourier 稀疏函数的杠杆分数的上限，并且针对这一结果，提
PDF4 years ago
AAAI通过快速代理杠杆加权采样实现随机傅里叶特征
该论文提出了一种快速替代权重采样策略，用于生成用于核逼近的精细随机傅里叶特征，通过核对齐来指导采样过程，并可以避免在计算杠杆函数时使用矩阵求逆操作，该策略可以将时间复杂度从 O (ns² +s³) 减少到 O (ns²)，在应用于核岭回归（
PDF5 years ago
从经验杠杆得分中采样随机特征：实现和理论保证
本文通过实证杠杆得分的方式，研究在随机特征的领域中，在核逼近和数据分布之间的权衡，提出一种算法可以有效地减少所需的特征数量，且不需要使用输出信息。实验结果表明，与普通的蒙特卡罗采样相比，该算法始终表现出优势，并且在进行了轻微的修改后，该算法
PDF5 years ago
NIPS通过负边界支持向量选择监督 Nyström 方法
该研究提出了一种针对分类的监督式 Nyström 方法，通过负边际标准选择向量，创造出适用于数据分类的显式特征映射。实验表明，该方法能够显著提高分类性能，同时减少所需特征数量。
PDF6 years ago
NIPS基于 Quadrature 的特征用于核逼近
通过基于 Monte Carlo 近似的、通过积分表示核函数并扩展到更好的核近似估计的数值积分技术，我们提出了一个统一的方法来改进核逼近的随机特征方法，并得出了其收敛行为，并进行了大量实证研究，支持了我们的假设。
PDF6 years ago
高斯过程回归的多分辨率核逼近
本文介绍了一种名为 Multiresolution Kernel Approximation (MKA) 的高效内存且适用于小长度尺度的高带宽核逼近算法。
PDF7 years ago
结构化随机正交嵌入的不合理有效性
本文使用基于结构化随机矩阵和正交行的嵌入，分析了其在机器学习中的应用，包括降维和核逼近，同时通过实证结果证明了该方法在各种机器学习应用中具有明显提高精度和 / 或速度的效果。
PDF7 years ago
紧致的非线性映射和循环扩展
通过数据相关的方式直接优化非线性映射，提高核学习和逼近的性能，减少高维映射的计算成本，并引入使用循环矩阵结构的投影矩阵的循环非线性映射。
PDF9 years ago
紧凑型随机特征映射
提出了一种基于随机矩阵的紧凑型随机特征映射（CRAFTMaps）来更加简洁准确地近似多项式核，证明了其比以前的近似方案有优越的核重建性能，并演示了如何使用 CRAFTMaps 学习非线性多类分类器。
PDF11 years ago