AAAIFeb, 2020

线性支持向量机的改进子采样随机哈达玛变换

PDF
TL;DR本文中，我们通过分析在线性支持向量机分类的背景下使用 Subsampled Randomized Hadamard Transform (SRHT) 的效果，提出了重要性采样和确定性 top-r 采样，以产生有效的低维嵌入而不是均匀采样 SRHT。此外，我们还提出了一种新的受监督的非均匀采样方法，并在六个实际数据集上展示了我们提出的方法比 SRHT 和其他随机投影方法具有更高的分类精度。
subsampled randomized hadamard transformrandom projectionmachine learningclassificationsampling methods
发现论文，激发创造
  • 通过子采样随机哈达玛变换改进矩阵算法

    该研究讨论了基于 Subsampled Randomized Hadamard Transform（SRHT）的低秩矩阵逼近技术在 Frobenius 和谱范数下的有效性，并在矩阵操作方面得出了一些结果，这可能具有独立的兴趣。

    Mar, 2012

  • 子采样随机哈达玛变换的改进分析

    本文提出了改进的子采样随机哈达玛变换结构化降维地图的分析，证明该地图保存向量空间的欧几里德几何，新的证明比以前的方法简单得多，并首次提供了嵌入所需维度数量估计的最优常数。

    Nov, 2010

  • 使用随机投影进行相关感知的稀疏均值估计

    研究了通信高效的分布式向量均值估计问题，在分布式优化和联邦学习中经常使用。通过引入 Rand-Proj-Spatial 估计器，利用交叉客户相关信息提高了通信效率，种种实验证明了其优越性。

    Oct, 2023

  • 使用随机低秩逼近的非凸稳健高阶张量补全

    本文介绍了两种融合随机化技术的低秩张量逼近方法，并进一步研究了鲁棒高阶张量完成问题。实验结果表明，该方法在计算效率和精度上均优于其他最先进的方法。

    May, 2023

  • 用于安全编码回归的迭代素描

    本文提出了一种分布式加速线性回归的方法，通过使用随机化草稿技术和改善异步系统中的顽固者韧性来确保安全性，同时应用随机齐次正交矩阵和子采样块来安全获取信息和减少回归问题的维度。

    Aug, 2023

  • 自适应随机子空间中的高维优化

    提出了一种新的高维随机优化方法，将坐标下降法推广到随机子空间，证明了使用自适应采样策略的随机子空间可以显著优于最近文献中常见的盲目采样方法，可以通过相关随机矩阵集合有效生成自适应子空间；在具有不同谱衰减的数据矩阵上验证了该方法在机器学习问题中的速度优势，包括逻辑回归、带随机卷积层的核分类和具有修正线性单元的浅神经网络。

    Jun, 2019

  • 通过松弛化实现监督离散哈希

    本文提出了一种基于学习的哈希方法，称为 “带松弛的监督离散哈希”（SDHR），它在传统监督离散哈希的基础上优化了回归目标矩阵，并满足每个示例的正确分类的大边界约束。SDHR 相对于传统的离散哈希方法具有更高的分类精度和更好的灵活性，并在图像和人脸数据集上得到了有效和高效的结果。

    Apr, 2019

  • 软随机采样：理论和实证分析

    软随机抽样（SRS）是一种简单而有效的方法，用于处理海量数据时高效训练大规模深度神经网络。本论文对 SRS 进行理论和实证分析，包括抽样动态、收敛性和泛化性能，以及在图像识别和自动语音识别等任务中的实证评估。相比现有的数据选择方法，SRS 在准确性和效率之间提供了更好的折衷，并在实际工业规模数据集上表现出显著加速和竞争性能，几乎不增加额外的计算成本。

    Nov, 2023

  • 重新审视 Nystrom 方法以改进大规模机器学习

    本篇研究论文旨在重新考虑随机算法用于对称半正定矩阵的低秩逼近，通过实证评估了样本抽样和投影方法的性能质量和运行时间，证明了它们的互补性，在相对误差较低前提下表明了不同采样方法之间的重要区别，并为随机抽样和随机投影方法提供最坏情况的理论边界。

    Mar, 2013

  • 分层切片瓦烧斯坦距离

    本文提出了一种新的测量两个概率分布距离的方法 -- 分层切片 Wasserstein 距离（HSW）, 通过研究这种方法的理论性质以及在一些数据集上的比较，我们发现 HSW 在计算代价和生成质量上优于传统的 Sliced Wasserstein 距离。

    Sep, 2022