通过元启发式微调改善预训练权重

Dec, 2022

通过元启发式微调改善预训练权重

Improving Pre-Trained Weights Through Meta-Heuristics Fine-Tuning

Gustavo H. de Rosa, Mateus Roder, João Paulo Papa, Claudio F. G. dos Santos

TL;DR使用启发式元算法优化预训练权重可改善机器学习分类任务的结果。

Abstract

machine learning algorithms have been extensively researched throughout the last decade, leading to unprecedented advances in a broad range of applications, such as image classification and reconstruction, object

machine learning optimization techniques meta-heuristic classification pre-trained weights

发现论文，激发创造

元学习以提升预训练

通过元学习，本文提出了一种基于梯度的高效算法，可以优化预训练超参数，改善了在蛋白质相互作用图和心电图数据上的预测性能。

Nov, 2021

物理学启发的元启发式优化技术概述

本章节系统讨论了模拟非线性物理过程的基于物理的元启发式算法，重点介绍了几种物理学基础元启发式算法及其背后的独特物理过程

Jan, 2022

元学习中的轨迹优化任务权重

本文介绍了一种全新的、基于轨迹优化的元学习任务加权算法，通过将同一 mini-batch 中的任务权重视为操作，利用迭代线性二次调节器确定最优操作或任务权重，其实现全面自动化，理论上收敛于一个 epsilon0 - 稳定点，实验证明其在两个 few-shot 学习基准测试中超出了常见的手工加权方法。

Jan, 2023

学习 Warm-Start 贝叶斯超参数优化

本文提出了深度度量学习用于探寻相似的数据集来作为输入神经网络的初始超参数，并通过 Bayesian 优化方法减少了超参数搜索的时间和计算量。

Oct, 2017

学习为鲁棒的深度学习调整例子的权重

该研究提出了一种基于元学习和梯度下降的新算法，来对训练样本进行权重分配，从而达到解决深度神经网络在训练集偏差和标签噪声方面的过度拟合问题，而不需要额外的超参数调整，并在少量有干净核准数据的情况下，实现了在类别不平衡和标签污染问题上的出色性能。

Mar, 2018

微调与元强化学习的有效性比较

本文研究使用 meta - 强化学习方法来完成多个视觉基准测试，在评估这些方法时，我们发现在不同的任务上，多任务预训练加微调的性能相当甚至更好，这与使用 meta-pretraining 和 meta test-time adaptation 的表现相当。因此我们建议在未来的 meta-RL 中加入更具挑战性的任务以及多任务预训练和微调作为更简单，强大的基线。

Jun, 2022

模型搜索科学化

本研究提出了一种元模型方法，支持自动化超参数优化，以取代手动调试，实现易复制和公正的优化过程，并在三个不同的计算机视觉问题上获得了最新的结果。

Sep, 2012

元启发式设计前馈神经网络：二十年研究综述

本文总结了传统和元启发式方法，连接了神经网络进化，合作共同进化 NN，复数 NN，深度学习，极端学习机，量子 NN 等的研究方向，提出了未来应对现代信息处理的有趣研究挑战。

May, 2017

深度元学习综述

本论文旨在提供关于 Deep Meta-Learning 的理论基础以及总结关键的度量、模型和优化技术，同时也指出了性能评估和计算成本等主要挑战。

Oct, 2020

深度学习中学习重新加权示例的重新实现

通过元训练和在线权重逼近方法，本文旨在解决使用深度神经网络时出现的噪声标签和训练集偏差对模型表现造成的问题，并通过使用充满挑战的不平衡图像数据集进行皮肤癌检测的真实问题来验证这一方法。

May, 2024