- 斯坦随机特征回归
在大规模回归问题中,通过通过定义核函数的谱密度,利用 Monte Carlo 抽样生成有限的样本集合以形成近似的低秩高斯过程(GP),随机 Fourier 特征(RFFs)显著提高了 GP 的计算可扩展性和灵活性。然而,RFFs 在核逼近和 - AAAI带动态平均的核化成对学习的有限内存在线梯度下降
在线梯度下降方法在配对学习中的应用以及引入具有子线性后悔界的轻量级在线梯度下降算法,该算法可适用于线性模型和核配对学习,通过集成随机傅里叶特征有效降低内核计算复杂度,并在离线和在线场景中优于内核和线性算法。
- 混合模型中草图操作符的 RIP 保证的再探讨
在素描用于压缩混合建模的背景下,我们重新审视了对某些混合模型的素描操作符具有有限保留同构性质的现有证明。通过检查现有保证的不足之处,我们提出了一种替代性分析方法,避免了在绘制随机傅里叶特征以构建随机素描操作符时需要假设重要性抽样。我们的分析 - MM随机傅里叶特征在去量子化量子机器学习中的潜力与限制
量子机器学习是近期量子设备最广泛研究的应用之一,本文通过研究建立了随机傅里叶特征对于变分量子机器学习的有效去量子化的必要和充分条件,并基于这些理论指导了参数化量子电路结构设计以及识别适合量子优化潜力的回归问题的结构。
- 通过位置嵌入实现鲁棒的点云处理
基于带宽的分析性逐点嵌入与位置嵌入的关系探索以及在点云分类和注册中具有鲁棒性的结果。
- 基于随机傅里叶特征的贝叶斯非线性潜变量建模
提出一种新的方法,用于一般化贝叶斯非线性潜在变量建模,通过使用随机傅里叶特征来逼近高斯过程映射中的核函数,从而将 GPLVM 推广至泊松、负二项和多项分布等情况,并通过随机特征潜变量模型(RFLVM)对广泛的应用进行评估,结果表明该算法在复 - 关于蒸馏集合的大小和逼近误差
本文从理论角度探究基于核岭回归(KRR)的数据集精简方法,证明了在随机傅里叶特征空间中存在与原始数据解重合的一小组实例,利用这些实例可以生成 KRR 解,从而实现对完整输入数据的解近似优化。
- LEAN-DMKDE: 用于异常检测的量子潜在密度估计
本研究提出了一种将基于密度估计的异常检测方法的强大统计基础与深度学习模型的表示学习能力相结合的异常检测模型,该模型将自动编码器与基于随机傅里叶特征和密度矩阵的密度估计模型相结合,构建了一个端到端的架构,并可使用梯度优化技术进行训练。该方法基 - 光学处理单元压缩聚类
本论文探讨了利用光学处理单元(OPU)计算随机傅里叶特征来进行草图处理,并将整个压缩聚类流程调整到该设置。我们还提出了一些工具来帮助调整压缩聚类的关键超参数。
- 在机器学习模型中种植不可检测的后门
本研究探讨了恶意学习者如何在其他人无法察觉的情况下,向分类器中植入不可检测的后门,进而影响其分类结果,该现象极大地阻碍了认证适应性和干扰性的理论发展。
- COLING从特征角度解决文本数据关联性问题:去除无关信息,提取相关信息
本文针对自然语言理解领域模型的数据集偏见问题,提出了一种基于特征空间视角的微调方法,使用随机傅里叶特征和加权重采样来解耦特征之间的依赖,并设计了基于互信息的方法来净化这些特征,实验表明该方法优于其他对比方法。
- OOD-GNN: 面向外分布的通用图神经网络
本文提出了一种名为 OOD-GNN 的图神经网络,它通过使用利用随机傅里叶特征的非线性图表示装饰方法来消除图表示中相关和不相关部分之间的统计依赖关系,进而使其能够实现对训练图数据分布以外的新颖测试图数据的良好性能。经实验证明,该方法在两个合 - 基于随机截断的无偏可扩展高斯过程
本文分析了两种常见的高斯过程方法:早期截断共轭梯度(CG)和随机傅里叶特征(RFF),发现两种方法都会对学习到的超参数引入系统偏差:CG 倾向于欠拟合,而 RFF 倾向于过拟合。我们使用随机截断估计器解决了这些问题,以换取增加方差的无偏差性 - 遥感应用中的非线性分布回归
该论文介绍了一种解决分布回归问题的非线性方法,它考虑了再生核希尔伯特空间中的分布嵌入,并在其中执行标准的最小二乘回归。 该方法可用于不同维数和样本大小的多源数据,并通过随机傅里叶特征介绍了高效版本来处理数百万个数据点和组。
- ICML边缘联邦学习的编码计算
CodedFedL extends CFL to distributed non-linear regression and classification problems with multioutput labels by exploi - AAAI通过快速代理杠杆加权采样实现随机傅里叶特征
该论文提出了一种快速替代权重采样策略,用于生成用于核逼近的精细随机傅里叶特征,通过核对齐来指导采样过程,并可以避免在计算杠杆函数时使用矩阵求逆操作,该策略可以将时间复杂度从 O (ns² +s³) 减少到 O (ns²),在应用于核岭回归( - 带有随机傅里叶特征的采样 Softmax
本文针对多分类中神经网络训练成本高的问题,提出了一种基于 Random Fourier Features 的随机傅里叶 softmax(RF-softmax)方法,以更高效和准确地在近似的 softmax 分布中采样来降低偏差,并表明其成本 - 低精度随机傅里叶特征在内存约束下的核近似
本研究探究在内存预算下如何培训广义良好的核逼近方法,提出了一种低精度量化的随机傅里叶特征方法,旨在以内存预算的方式构建高秩逼近,并在四个基准数据集上证明了该方法可以在少得多的内存的情况下与全精度 RFFs 和 Nyström 方法相匹配。
- NIPS斯坦变分梯度下降作为时刻匹配
本文提出一种基于 Stein 算子的非参数推断方法,将 Stein 变分梯度下降(SVGD)用于解决推断问题,挖掘出一类函数,即 Stein 匹配集合,从而提供了更好的内核选择方法,并可以将问题转化为拟合 Stein 等式或求解 Stein - NIPS具有 $\tilde {O}(\sqrt {n})$ 随机特征的流式核 PCA
在核主成分分析中使用随机傅里叶特征的统计和计算学方面的研究,证明在温和假设下,使用 O (sqrt (n) log n) 个特征即可达到 O (1/epsilon^2) 的样本复杂度;此外,还提出了一种基于经典 Oja 算法的内存高效的流算