Feb, 2024

MGE: 一种无需训练的高效模型生成和增强方案

PDF
TL;DR这篇论文提出了一种无需训练且高效的模型生成和增强方案（MGE），通过考虑模型参数分布和性能，在模型生成过程中生成的模型在某些情况下不仅与正常训练得到的模型相媲美，甚至更优。与正常模型训练所需时间相比，生成模型仅需 1% 的时间。在 Few-shot 任务中，使用 Evolution-MGE 进行增强后的生成模型展现出有竞争力的泛化能力，同时生成模型之间的行为差异有潜在的对抗防御能力。
deep learning modelsmodel pooltraining-free and efficient model generation and enhancement scheme (mge)model parametersmodel performance
发现论文，激发创造
  • MEGA: 通过协作的生成器替代网络进行模型窃取

    本文提出了一种基于协作生成替代模型网络的无数据模型窃取框架 MEGA，该框架通过合成查询示例和预测标签来模拟目标模型，并且通过最大化替代模型的置信度来生成图像，实验表明，该框架所训练的替代模型和黑盒敌对攻击的成功率均比现有的数据无关的攻击方法高。

    Jan, 2022

  • 多任务多语种模型的可扩展高效 MoE 训练

    采用 Mixture of Experts 模型、多维并行技术和 DeepSpeed 库支持的系统，成功训练出拥有数百万参数的高效的多语言生成模型，同时提升了模型的样本效率和推断时间效率。

    Sep, 2021

  • 通过元梯度增强改善元学习的泛化能力

    本文从梯度规范化的角度出发，提出了一种数据无关的元梯度增强 (MGAug) 方法，通过网络修剪来打破背诵性记忆，并探讨了三种修剪策略，实验表明该方法在多个 few-shot 学习基准测试中显著提高了性能

    Jun, 2023

  • GE-AdvGAN：基于梯度编辑的对抗生成模型改进对抗样本的可传递性

    通过优化生成器参数的训练过程并引入梯度编辑机制，GE-AdvGAN 算法能够生成高度可迁移的对抗样本并在执行时间上与现有方法相比保持最小化。

    Jan, 2024

  • 生成模型的领域无关和多层次评估

    提出了一个适用于不同领域的多层次性能评估框架 (MPEGO)，该框架从基于子特征的低层次评估到基于全局特征的高层次评估，可定制化以支持用户自定义特征，验证结果表明该框架能帮助实现对生成模型性能的灵活、可定制化和多层次的评价，适用于材料发现等多个领域。

    Jan, 2023

  • 深度生成反卷积图像模型

    该研究基于分级卷积字典学习框架开发了一个深生成模型，使用随机解池来连接模型中的连续层，实现自顶向下的图像生成，使用贝叶斯支持向量机结合顶层特征进行有最大间隔的区分。使用蒙特卡罗期望最大化算法进行高效训练，并在 GPU 上实现以完成高效的大规模学习和快速测试。在包括 ImageNet 在内的多个基准数据集上获得了极佳的结果，证明所提出的模型的性能与同样大小的卷积神经网络相当竞争力。

    Dec, 2015

  • 走向 MoE 部署：缓解专家混合（MoE）推断中的低效率

    本文提出了三种 Mixture-of-Experts （MoE）模型的优化技术，分别为动态门控、专家缓存和专家负载均衡，其中动态门控技术可以在多达 5 倍的性能提升的同时减少 GPU 内存的使用，而专家缓存技术可以通过只在 GPU 内存中缓存热门专家来减少最高可达 1.47 倍的静态内存分配。这些技术能够提高该 MoE 模型的效率并使得其更容易部署到实际应用中。

    Mar, 2023

  • 稀疏专家组合是具有领域普适性的学习器

    本文提出了一种基于视觉 Transformer 的领域泛化模型 GMoE，通过研究架构与数据集中相关性的一致性来表征网络的抗干扰性；实验表明 GMoE 使用 ERM 训练的性能大幅优于 SOTA DG 基线，并且在使用新的 DG 算法进行训练时其性能有了显著改善。

    Jun, 2022

  • PFGE：DNNs 的简易快速几何集成

    通过提出一种轻量级的 “PFGE” 方法，该论文改进了深度学习系统中集成学习方法的效率。PFGE 使用成功执行的随机权重平均过程的轻量级的高性能 DNN 的集合来提高内存效率，并且实验结果表明，该方法在保持泛化性能的同时可以实现比现有方法高 5 倍的内存效率。

    Feb, 2022

  • TMLab: 生成式增强模型 (GEM) 用于对抗性攻击

    本文提出了由 GPT-2 架构拓展得到的 Generative EnhancedModel（GEM），借助目标词汇的输入增强现有上下文的输入，使文本生成过程更可控。训练得到的模型通过混合多篇文章中的事实生成具有误导性的声明，进而提高了事实核查的难度。

    Oct, 2019