May, 2024

基于数据相关随机特征的去中心化核岭回归

PDF
TL;DR在去中心化的核岭回归中，为了保证节点之间的一致性，通常会对特征系数施加约束，但是在许多应用中，不同节点上的数据在数量或分布上存在显著差异，因此需要能够生成不同随机特征的自适应和数据相关方法。针对这个关键难题，本文提出了一种新的去中心化核岭回归算法，该算法通过追求决策函数的一致性，实现了对节点上数据的灵活适应。经过严格的收敛性分析和数值验证，我们得出结论：在保持与其他方法相同的通信开销的同时，我们在六个真实世界数据集中平均提高了 25.5％的回归准确性。
发现论文，激发创造
  • 随机特征模型的隐式正则化

    本文探讨了随机特征模型和核岭回归之间的联系，并发现了有限 RF 取样的隐式正则化效应，同时对比了使用 KRR 预测器的风险和使用 RF 预测器的平均风险并获得了它们之间差异的明确界限，最终在实验中发现了平均 λ-RF 预测和 tilde λ-KRR 预测器之间的极好一致性。

    Feb, 2020

  • 关于数据相关的随机特征在监督学习中提升泛化性能的研究

    本文提出了一种基于数据依赖评分函数的 EERF 算法，该算法探索可能特征集并利用有前途的地区，通过实验结果证明了该方法在实现一定泛化误差的情况下需要更少的随机特征量，代码量少且不需要调整参数。

    Dec, 2017

  • 随机特征无 Ridge 回归

    本文研究了具有随机特征和随机梯度下降的无脊椎回归的统计属性，探索了随机梯度和随机特征中因素的影响，特别是随机特征误差呈现双峰曲线。在理论结果的启发下，我们提出了一种可调节的核算法，优化核的谱密度。本研究架起了插值理论和实际算法之间的桥梁。

    May, 2022

  • 用随机特征驯服图核函数

    本文介绍了图随机特征（GRFs）的机制，并对其进行了理论和实证分析。GRFs 可以用于构建基于图节点定义的多个重要核函数的无偏随机估计器。相比传统的图核函数算法，GRFs 具有显著的计算性能。此外，GRFs 还提供了一种简单的分布式算法以及其改进版本 q-GRFs 来优化 GRFs 的方差，尤其适用于解决具有正对称矩阵的线性方程组。

    Apr, 2023

  • 使用随机特征逼近进行高效数据集蒸馏

    提出了一种名为 RFAD 的基于随机特征近似的数据集蒸馏算法，该算法能够在维持较高准确性的同时，大幅加速了现有的数据集压缩算法，能够应用于大规模数据集上，并适用于如模型解释和隐私保护等任务。

    Oct, 2022

  • 斯坦随机特征回归

    在大规模回归问题中，通过通过定义核函数的谱密度，利用 Monte Carlo 抽样生成有限的样本集合以形成近似的低秩高斯过程（GP），随机 Fourier 特征（RFFs）显著提高了 GP 的计算可扩展性和灵活性。然而，RFFs 在核逼近和贝叶斯核学习中的有效性取决于能否轻松地采样核谱测度并生成高质量的样本。我们引入 Stein 随机特征（SRF），利用 Stein 变分梯度下降，可以用于生成已知谱密度的高质量 RFF 样本，以及灵活高效地近似传统上非分析的谱测度后验。SRFs 只需要评估对数概率梯度，即可同时进行核逼近和贝叶斯核学习，从而在传统方法上实现更好的性能。通过将其与基准模型在核逼近和众所周知的 GP 回归问题上进行比较，我们经验证明了 SRF 的有效性。

    Jun, 2024

  • 无维度确定性随机特征回归的等效

    我们研究了随机特征岭回归（RFRR）的泛化性能，并提供了其测试误差的一般确定性等价物。具体而言，在一定的集中性质下，我们表明测试误差可以用一个闭式表达式来良好近似，该表达式仅依赖于特征映射的特征值。值得注意的是，我们的近似保证是非渐近的、乘性的，并且与特征映射的维度无关，允许无限维特征。我们预期这个确定性等价物在我们的理论分析之外广泛适用，并从各种真实和合成数据集上对其预测进行了实证验证。作为一个应用，我们根据谱和目标衰减的标准幂律假设导出了尖锐的超额误差率。特别地，我们提供了实现最优极小极大误差率所需特征数量的紧密结果。

    May, 2024

  • 随机特征和核方法的泛化误差：超收缩和核矩阵集中

    研究了在高维情况下，使用随机特征与岭回归相结合的方法在特征空间中实现核 Ridge 回归的近似，证明了欠拟合比过拟合更容易避免，展示了在满足特定谱条件和某些特征向量的超收缩性假设的情况下，所得到的错误随着自由参数的增加呈幂律下降的规律。

    Jan, 2021

  • 自适应分布式核岭回归：一种适用于数据孤立的可行分布式学习方案

    基于自主性参数选择、通信非敏感信息的隐私保证和性能改进的协作性的自适应分布式核岭回归 (AdaDKRR) 是解决数据孤岛问题的可行方案，并能在智能决策、价格预测和产品性能预测等领域发挥作用。

    Sep, 2023

  • 超线性伸缩区域外的随机特征回归渐近行为

    近期的机器学习进展通过使用过参数化的模型训练到接近训练数据的插值来实现。 通过双下降现象的展示，已经证明参数数量是模型复杂性和泛化能力的劣质指标。 这引发了一个问题，即了解参数化对这些模型的性能的影响。 本文以随机特征岭回归（Random Feature Ridge Regression）为例进行调查。

    Mar, 2024