Aug, 2023

基于代理的回归问题中随机草图算法自动调参

PDF
TL;DR该论文展示了如何使用基于代理模型的自动调整方法来解决 RandNLA 算法中参数选择的基本问题，并详细研究了基于代理模型的自动调整方法在基于随机预处理的最小二乘法中的应用。实验结果表明，我们的基于代理模型的自动调整方法可以以较少的调整成本实现接近最优的性能，同时适用于任何类型的 RandNLA 算法。
randomized numerical linear algebraautotuningparameter selectionsketch-and-precondition methodsrandnla algorithm
发现论文，激发创造
  • 随机数值线性代数算法采样估计的渐进分析

    本文针对 least-squares 问题，利用渐进分析推导出一般采样估计器的渐近分布，并探讨了如何构建置信区间和假设检验，最后基于该理论提出了两个标准来确定最佳的采样概率分布。

    Feb, 2020

  • 近似最近邻搜索中超参数的高效自动调整

    本研究提出了一种使用随机空间划分树自动调整索引方法超参数的算法，相较于现有方法，该算法在查询时间上表现优异，且建立速度更快。

    Dec, 2018

  • 机器学习中的随机数值线性代数的最新和即将发展

    随机数值线性代数（RandNLA）在大矩阵的机器学习和数据分析应用中发挥着重要作用，本文提供了 RandNLA 的综合概述，以应对近期的理论和实践挑战。

    Jun, 2024

  • 草图作为数值线性代数工具

    本文综述了数值线性代数算法领域的最新进展，着重介绍了利用线性草图技术来进行矩阵压缩的方法，以加速解决原问题。文章讨论了最小二乘、鲁棒回归、低秩逼近和图稀疏化的问题，并优化了这些问题的不同变体。最后，文章探讨了草图方法的局限性。

    Nov, 2014

  • LSAR：针对大型时间序列数据分析的高效杠杆得分采样算法

    该研究应用随机数值线性代数方法来分析大规模时间序列数据，并开发了一种新的算法 LSAR，其在拟合 AR 模型时，能够以高概率找到最大似然估计，并在大数据规模下拥有优异的性能表现。

    Nov, 2019

  • RONAALP：带有主动学习过程的降阶非线性逼近

    提出 RONAALP 算法用于增量学习快速准确的高维函数的降阶代理模型，在线阶段使用主编码器、社区聚类和径向基函数网络相结合的方式学习高效紧凑的代理模型，通过主动学习程序克服模型在初始训练范围外进行外插的问题，从而得到能够推广且快速准确的高维函数的降阶模型，并在化学非平衡的高超声速流动的三个数值模拟中加以验证，通过动态学习降阶热力学模型代理，将模拟计算的成本减少了 75%，同时保持感兴趣物理量上的误差小于 10%。

    Nov, 2023

  • 随机投影的精确表达式：低秩逼近与随机牛顿

    利用随机矩阵的谱分析最新进展，我们开发了一种新的技术，提供了随机投影矩阵的期望值的确切表达式，这些表达式可以用来表征多种常见的机器学习任务中的降维性能，包括低秩估计和迭代随机优化等。我们的结果适用于多种流行的草图方法，包括高斯和 Rademacher 草图，结果表明，我们推导出的表达式反映了这些草图方法的实际性能，甚至体现了较低阶效应和恒定因子。

    Jun, 2020

  • 通过高效的非参数替代品实现深度学习的自适应采样

    通过使用非参数核回归进行采样，我们提出了一种新颖的采样分布，它能够在神经网络训练过程中学习到有效的重要性评分。我们的采样算法在墙钟时间和准确性上优于基准算法。

    Nov, 2023

  • 随机数值线性代数：基础与算法

    本文介绍了一些概率算法，来完成线性代数计算，如矩阵分解和线性系统求解，覆盖了在实际问题中得到证明的技术和理论知识，包括规范估计，采样的矩阵逼近，线性回归问题，低秩逼近，亚空间迭代和 Krylov 方法，误差估计和自适应性，插值和 CUR 分解，Nystrom 逼近以及核矩阵的逼近等等，特别适用于机器学习和科学计算。

    Feb, 2020

  • 精确增广拉格朗日与随机迭代草图的受限最优化

    本篇研究开发了一种自适应的非精确牛顿法，通过使用随机迭代草图求解器不精确地求解拉格朗日牛顿系统，并在精确增广拉格朗日优势函数上执行线搜索以选择适当的步长，以控制随机求解器的精度和惩罚参数，以确保不精确的牛顿方向是精确增广拉格朗日的下降方向，从而全局近乎确定地收敛，并表明在本地可采用单位步长，因此该方法表现出局部线性收敛。

    May, 2023