Oct, 2019

利用光学处理单元获得的大规模随机特征进行的核计算

PDF
TL;DR本文研究了利用 Optical Processing Unit 对大规模的 RF 进行快速且高能效的运算，得出此操作结果可以得到与多项式核函数相关的点积核，同时在核岭回归和图像分类中获得了优异的表现。
random featuresoptical processing unitkernel ridge regressionimage classificationenergy efficiency
发现论文，激发创造
  • 光学处理单元压缩聚类

    本论文探讨了利用光学处理单元（OPU）计算随机傅里叶特征来进行草图处理，并将整个压缩聚类流程调整到该设置。我们还提出了一些工具来帮助调整压缩聚类的关键超参数。

    Jun, 2022

  • HPC 中的光子协处理器：使用 LightOn OPUs 进行随机数值线性代数计算

    使用 LightOn Optical Processing Units 实现随机化降维可显著加速 Randomized Numerical Linear Algebra，例如 RandSVD 或 trace estimators，并且精度损失可以忽略不计。

    Apr, 2021

  • 多重光散射中的随机投影：光速逼近内核函数

    介绍了一种基于相干光在随机介质中的多重相干散射的物理特性，能够在光速下进行随机投影的模拟光学器件，可用于大型训练集和实时预测的核方法实现，避免了在存储随机矩阵和使用其他结构化矩阵以减少计算和内存成本时的复杂问题。通过在 MNIST 数据库上进行简单的分类任务，演示了该设备实验结果与对应核的理论性能非常接近。

    Oct, 2015

  • 厨师的随机桌子：非三角随机特征

    提出了用于逼近 Gauss 核和 softmax 核的新型非三角随机特征 —— 厨师随机表 (CRTs)。CRT 是标准随机厨房水槽 (RKS) 方法的替代品。通过使用正随机特征 (RFs)，CRT 可以获得更少的方差和更小的尾部。此外， CRT 可以通过利用简单计算的统计数据进一步降低方差。在多项任务中测试 CRT，获得了最先进的结果。

    May, 2022

  • 正交随机特征

    本文通过使用正交矩阵代替高斯随机矩阵来减小核近似误差提出了正交随机特征和结构化正交随机特征，并为此行为提供理论和实证证据。实验结果证明了与现有方法相比 ORF 和 SORF 的有效性。

    Oct, 2016

  • 随机傅里叶特征的最优速率

    本文通过理论分析，详细研究了随机傅里叶特征（RFF）在逼近质量方面的表现，并提出了一种 RFF 逼近核的导数的方法。

    Jun, 2015

  • 随机傅里叶特征的误差

    本文介绍了核方法在机器学习问题中的应用，提到了采用随机傅里叶特征解决大规模数据集问题的方法，并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用，同时指出了该特征的两种变体中，更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。

    Jun, 2015

  • 核特征的高斯积分

    使用高斯积分逼近核函数的频域，可以构建确定性特征图来替代随机傅里叶特征映射，其采样量是以指数形式来考虑的，适用于稀疏 ANOVA 核函数，具有生成速度快和较高精度的特点。

    Sep, 2017

  • 正交随机特征：显式形式和尖锐不等式

    通过正交随机特征来近似普遍的高斯核，本研究分析了基于正交随机特征的核逼近的偏差和方差，并通过使用归一化贝塞尔函数推导出了明确的表达式，并提供了支持正交随机特征比随机傅里叶特征更具信息性的尖锐指数界限。

    Oct, 2023

  • 基于核随机投影的离群点检测深度

    本文提出了一个扩展的随机投影深度（RPD）方法来应对多模态和非凸数据云。该方法在再生核希尔伯特空间中计算 RPD。通过核主成分分析，我们期望该方法能够应对上述多模态和非凸问题。实验结果表明，所提出的方法优于 RPD，并可与现有检测模型相媲美。

    Jun, 2023