Oct, 2023

不断发展的评估器 (EV3): 为知识蒸馏的灵活可靠元优化而努力

PDF
TL;DR我们介绍了一种名为 EV3 的新型元优化框架，通过直观的探索 - 评估 - 调整协议来高效训练可扩展的机器学习模型。利用 EV3，我们在每次迭代中探索各种模型参数更新，使用相关评估方法对其进行评估，并根据最佳更新和以前的进展历史来调整模型，从而提供了相当的灵活性，无需对感兴趣的关键目标施加严格的约束条件。此外，该协议欢迎具有有偏梯度的更新，并允许使用各种损失函数和优化器。我们将 EV3 应用于知识蒸馏，其实验结果显示了 EV3 在安全探索模型空间方面的能力，并暗示了由于其固有的灵活性和适应性，它在许多领域中的潜在适用性。
ev3meta-optimization frameworkscalable machine learning modelsexplore-assess-adapt protocolknowledge distillation
发现论文，激发创造
  • 进化变换器：基于上下文的进化优化

    通过元优化的方式，引入一种能够灵活表征一系列进化策略的因果 Transformer 架构 ——Evolution Transformer，用于从数据中直接发现强大的优化原理。通过 Evolution Transformer，结合进化算法蒸馏技术进行模型权重训练，我们得到一个在特定上下文中表现良好且能够很好泛化到其他具有挑战性的神经进化任务的模型。此外，我们还分析了 Evolution Transformer 的属性，并提出了一种全自引用训练的技术，从随机初始化开始并引导其自身的学习进程。我们提供了一个开源实现，网址为 https://<URL>

    Mar, 2024

  • 通过元黑盒优化发现进化策略

    该研究采用元学习来探寻对进化策略更有效的更新规则，并通过自我关注机制加以参数化，其结果显示新进化策略推广到未知的优化问题、种群大小和优化目标上表现出良好的性能。研究结果还表明，所学习的进化策略可以在监督学习和连续控制任务中优于传统的神经进化算法。

    Nov, 2022

  • 基于语言模型权重演化的知识融合

    本研究提出了一种名为 Evolver 的知识融合方法，它可以将不同语言模型的权重进行集成，通过进化算法生成新的模型并与父模型进行评估，达到在不同数据领域通用且性能优越的目的，这种方法与现有模型合并框架无缝集成，为模型增强提供了一种多功能工具。

    Jun, 2024

  • GEVO-ML: 使用进化计算优化机器学习代码

    GEVO-ML 是一个工具，用于自动发现 ML 内核的优化机会和性能调优，在多层中间表示（MLIR）中统一表示模型和训练 / 预测过程，使用多目标进化搜索来改进在 GPU 上运行的 MLIR 代码的性能，而保持所需功能。

    Oct, 2023

  • 运用大型语言模型和主动学习演化知识蒸馏

    提出了 EvoKD：演化知識蒸餾方法，利用主動學習的概念提升大型語言模型的數據生成過程，同時改善小型領域模型的任務能力。實驗和分析表明 EvoKD 在不同的自然語言處理任務，如文本分類和命名實體識別方面具有有效性。

    Mar, 2024

  • 元进化：用于一对多策略转移的连续机器人进化

    我们研究了从一个源机器人向多个不同机器人传递专家策略的问题。为了解决这个问题，我们提出了一种名为 Meta-Evolve 的方法，通过一组树结构的进化机器人序列，利用连续的机器人进化将策略有效地传递给每个目标机器人。机器人进化树允许共享机器人进化路径，因此我们的方法在一对一策略传递方面明显优于朴素的方式。我们提出了一种启发式方法来确定优化的机器人进化树。实验证明，我们的方法相对于启动多个独立的一对一策略传递基线，能够使操作策略的一对三传递效率提高了 3.2 倍，使敏捷运动策略的一对六传递效率提高了 2.4 倍，从而减少了仿真成本。

    May, 2024

  • NeuroEvoBench：用于深度学习应用的进化优化器基准测试

    最近，深度学习社区对进化优化（EO）产生了兴趣，其作为解决难以优化问题的手段，例如，通过长内循环展开进行元学习或优化非可微分运算符。这一趋势的一个核心原因是硬件加速和兼容软件的最新创新 - 使得分布式种群评估比以前更容易。然而，与基于梯度下降的方法不同，对于 EO 方法，缺乏超参数理解和最佳实践 - 这可能是由于对 EO 方法进行严重的研究生下降和基准测试的缺乏所致。此外，进化社区的经典基准对深度学习应用提供很少实用的见解。这对于新来者加入到硬件加速 EO 以及阻碍了其显著采用造成了挑战。因此，我们建立了一个针对深度学习应用的 EO 方法新基准（NeuroEvoBench），并对传统和元学习 EO 进行了全面评估。我们研究了资源分配、适应度塑造、规范化、正则化和 EO 的可扩展性等核心科学问题。该基准在此 https URL 下以 Apache-2.0 许可证的形式开源。

    Nov, 2023

  • 生成极简对抗扰动以测试物体检测模型：一种自适应多指标进化搜索方法

    该论文介绍了一种名为 Triple-Metric EvoAttack（TM-EVO）的有效算法，用于评估目标检测深度学习模型对抗性攻击的鲁棒性，通过利用多度量适应函数指导进化搜索来创建具有最小扰动的有效对抗测试输入，评估结果表明，TM-EVO 优于基准算法 EvoAttack，能够生成更少噪音且保持高效的对抗测试。

    Apr, 2024

  • 极值机器

    提出了一种新的分类器 —— 极值机（EVM），它从统计学中的极值理论（EVT）派生出，能够进行变量带宽的非线性无核增量学习，对比同样在 ImageNet 数据集上的其他分类器，EVM 展现了高准确率和高效率。

    Jun, 2015

  • 基于层级专家网络的元学习

    该论文提出了一种信息论的元学习模型，通过优化划分学习任务，使得专业的决策者解决子问题，从而达到高效的适应新任务的效果，在图像分类、回归和强化学习三个元学习领域进行验证。

    Oct, 2019