Oct, 2023

SHOT: 抑制优化轨迹上的 Hessian 对于基于梯度的元学习

PDF
TL;DR本文中，我们假设基于梯度的元学习在内循环中隐式地压抑了海森矩阵。基于这一假设，我们提出了一种名为 SHOT（抑制优化轨迹上的海森矩阵）的算法，通过最小化目标模型和参考模型参数之间的距离来抑制内循环中的海森矩阵。尽管处理了高阶项，SHOT 并不增加基线模型的计算复杂度太多。它对于 GBML 使用的算法和体系结构都是不可知的，因此非常通用且适用于任何 GBML 基线。为了验证 SHOT 的有效性，我们在标准的少样本学习任务上进行了实证测试，并对其动态进行了定性分析。我们通过实验证实了我们的假设，并展示了 SHOT 优于对应基线的结果。代码可以在此网址获得：this https URL
gradient-based meta-learninghessianoptimization trajectoryfew-shot learning tasksshot algorithm
发现论文，激发创造
  • GSHOT: 用于标记图的小样本生成建模

    本文提出了一种基于元学习的模型 ——GSHOT，用于少样本有标签图生成。通过将元知识从类似的辅助图数据集中传递过来，GSHOT 能够快速自适应到未见过的图数据集，并通过自学习微调生成具有优越保真度的图，相对于现有基线拥有更好的性能。

    Jun, 2023

  • 量子机器学习架构中的拍摄优化以加速训练

    本文提出了量子机器学习模型的 shot 优化方法，采用混合量子 - 经典模型进行分类任务的测试，并在 MNIST 和 FMNIST 数据集上进行测试，通过自适应 shot 分配优化模型，结果显示采用 step function 进行 shot 分配可以在降低 shots 数量的同时保证了各项指标的稳定性。

    Apr, 2023

  • 使用随机无 Hessian 优化训练神经网络

    本文研究了利用曲率 - 向量积构建更新方向的 Hessian-free（HF）优化方法，在梯度和曲率小批量下实现的随机 HF 并添加防止过拟合的 dropout 方法，实现了介于 SGD 和 HF 之间的中间结果，对分类和深度自编码器实验都有良好表现。

    Jan, 2013

  • 基于动量的策略梯度算法与二阶信息

    提出一种名为 SHARP 的基于二阶信息和具有时间变化的学习率的动量随机梯度下降方法，实现一阶可压缩的稳定点，无需重要性采样，具有 O（1 /t ^ {2/3}）的误差估计方差下降速率。实验结果表明该算法在控制任务上比现有算法效果更好。

    May, 2022

  • 利用辅助信息进行优化

    探讨了最小化梯度难以计算或有限可用性的目标函数 $f (x)$ 的基本优化问题，给定某些较为廉价或更可用的辅助边函数 $h (x)$ 来最小化。提出了两种新的通用算法，证明只需在目标和边信息之间进行 Hessian 相似性的假设即可从该框架中受益。

    Jun, 2022

  • 通过共享梯度加速元学习

    通过内部循环正则化机制，共享梯度信息并根据元学习参数进行贡献缩放，实现了渐进共享的元学习，从而有效地加速元训练过程，提高内部循环学习速率。

    Dec, 2023

  • 元图：元学习的少样本链接预测

    本文提出了一种基于元学习的 Meta-Graph 框架，该框架使用高阶梯度以及一个条件生成图神经网络初始化的学习图签名函数，可以在少量训练数据的情况下快速适应新图，并在收敛时获得更好的结果。

    Dec, 2019

  • 隐式梯度元学习

    本文介绍一种名为隐式 MAML 的方法，用于在少量数据下实现基于梯度的元学习，能够解决通过内层优化得到的结果进行求导时的困难，从而优雅地处理多个梯度步骤，实现在少样本下的图像识别精度的提升。

    Sep, 2019

  • 基于锐度感知的最小化与稳定边缘

    最近的实验证明，使用梯度下降的神经网络在损失的 Hessian 算子范数增长到约等于 2 / 步长 η 后，就开始在该值周围波动。我们对 Sharpness-Aware Minimization（SAM）进行了类似的计算，得到了一个基于梯度范数的稳定边缘。通过三个深度学习训练任务的经验验证，我们发现 SAM 在该分析所确定的稳定边缘操作。

    Sep, 2023

  • 扰动梯度以缓解元过拟合

    通过增加任务的多样性和降低模型对某些任务的置信度，本论文提出了解决元过拟合问题的几种方法，并在少样本学习环境中展示出了改进的泛化性能。

    May, 2024