Feb, 2024

FORML：一种具有正交约束的元学习的黎曼海森自由方法

PDF
TL;DR介绍了一种在 Riemann 流形上使用 Stiefel 近似的 Hessian-free 方法，通过使用 Stiefel 全连接层来增强基于梯度的元学习方法的表示重用，实验结果表明该方法在各种少样本学习数据集上优于现有方法，尤其是欧几里得对应的 MAML。
meta-learningbi-level optimizationriemannian spacestiefel manifoldfew-shot learning
发现论文，激发创造
  • ES-MAML: 简化无 Hessian 元学习

    提出了 ES-MAML 框架，基于进化策略（ES）解决了模型无关元学习（MAML）问题，避免了使用随机策略进行反向传播估计二阶导数时的问题，并可以处理新类型的非光滑适应算子，并且与现有方法竞争力强，经常在查询较少情况下产生更好的自适应。

    Sep, 2019

  • 在黎曼流形上的无学习率随机优化

    我们介绍了一种无需调整学习率的创新随机优化算法，用于在 Riemannian 流形上进行优化，消除了手动调整的需求并提供了更稳健和用户友好的方法。通过数值实验证实了我们的方法，表现出与依赖学习率的算法相竞争的性能，并建立了最优的高概率收敛性保证。

    Jun, 2024

  • 关于基于梯度的模型无关元学习算法的收敛理论

    本文研究了一类基于梯度的元学习方法的收敛性，探讨了它们在非凸损失函数下的最佳可达精度和整体复杂度。我们提出了一种名为 Hessian-Free MAML 的新变体算法，为该算法提供了理论保证，并且解答了这些算法在任务和数据集上学习率和批量大小的选择问题。

    Aug, 2019

  • 关于在一致性正规化中应用隐式元学习的训练

    通过对不同的 Hessian 逼近方法进行系统性比较分析，研究了隐式元训练在收敛点曲率估计方面的局限性以及其稳定性问题，并利用所得见解提出并评估了一种新型半监督学习算法，该算法通过培训 “信心网络” 来加权一致性正则化损失，提高了基准 FixMatch 效果。

    Oct, 2023

  • 黎曼随机优化方法避免严格鞍点

    对于现代机器学习应用中的最小化问题，研究了基于提纯的方法族，证明了在渐进条件下，从任意初始状态出发，研究中的策略几乎总能避免严格鞍点 / 子流形，从而为在流形上使用梯度方法提供了重要的可靠性验证。

    Nov, 2023

  • 矩阵流形上的 Riemannian 坐标下降算法

    提出了在矩阵流形上开发计算效率高的坐标下降（CD）算法的一般框架，从而允许在每次迭代中仅更新少数变量，并符合流形约束。通过一阶目标函数的近似实现了更高效的变体，分析了它们的收敛性和复杂性，并在多个应用中验证了它们的有效性。

    Jun, 2024

  • 快速二阶随机反向传播在变分推断中的应用

    提出了一种受高斯反向传播启发的二阶（海森或无海森）优化方法，该方法通过低复杂度的再参数化技巧推广随机反向传播的梯度计算，实现了不依赖模型的可扩展变分推断。将其应用于贝叶斯逻辑回归和变分自编码器（VAE）问题时，获得了实际，可扩展和模型无关的结果。

    Sep, 2015

  • 使用随机无 Hessian 优化训练神经网络

    本文研究了利用曲率 - 向量积构建更新方向的 Hessian-free（HF）优化方法，在梯度和曲率小批量下实现的随机 HF 并添加防止过拟合的 dropout 方法，实现了介于 SGD 和 HF 之间的中间结果，对分类和深度自编码器实验都有良好表现。

    Jan, 2013

  • 模型选择实现无参在线学习

    该研究提出了一种新型算法框架用于在线学习的模型选择，通过采用随机演出的基于新型算法框架的 “多尺度” 算法进行预测，可以在最小结构假设下，获得在线模型选择预言不等式，实现了一种通用的元算法框架，并进一步为矩阵类、非嵌套凸集等特殊模型提供了新的预言不等式。

    Dec, 2017

  • 非凸紧凑平滑次流形上的异构数据联邦学习

    本文提出了一种基于随机黎曼梯度和流形投影算子的非凸联邦学习算法，用于在异构客户端数据的紧致平滑子流形上提高计算效率，并通过同时利用流形结构和损失函数特性的新型分析，理论上证明了该算法亚线性收敛到一阶最优解附近，数值实验表明我们的算法具有比现有方法更小的计算和通信开销。

    Jun, 2024