AAAIJun, 2021

Learngene: 从开放世界走向你的学习任务

PDF
TL;DR提出了一种实用的集体 - 个体范式，该范式在序列任务上训练一个进化（可扩展）网络，并且通过从集体模型中发现 learngene，重建轻量级个体模型，经过实验研究和理论分析证明，本文的方法在实现 few-shot learning 场景中取得了很好的效果
deep learningopen-world scenarioevolution networklearngenefew-shot learning
发现论文，激发创造
  • Learngene：从祖先模型继承压缩知识到后代模型

    提出了一种新的机器学习范式 Learngene，其主要特点是能够在一个祖先模型的连续学习期间积累知识，把这些经验压缩成紧凑的信息元素（即 Learngene），并将其遗传给后代模型，使其更容易适应新环境。

    May, 2023

  • 通过学习基因传递核心知识

    通过模仿自然基因的结构，我们采用名为 “learngene” 的新概念，并提出一种名为遗传传输学习（GTL）的框架，将有机体的进化过程复制到神经网络中。我们成功提取了 VGG11 和 ResNet12 的 learngenes，并证明了通过 learngenes 传递核心知识可能足够高效地提高神经网络的准确性。

    Jan, 2024

  • 集体深度学习的有效理论

    我们通过对于耦合的人工神经网络系统中集体学习的出现进行解析，引入了一个最小模型，通过考虑每个神经网络单元参数的本地学习动态和单元之间的扩散耦合之间的竞争来凝结几个最近的分散算法。

    Oct, 2023

  • BOWLL: 一个看似简单的开放世界终身学习器

    通过广泛的实证评估，我们强调我们的方法为能够有效地保持知识、有选择地关注信息性数据和加速未来学习的模型应成为未来的标准。

    Feb, 2024

  • 大规模多任务学习系统中动态引入任务的进化方法

    本文提出了一种基于进化的技术，能够生成能够支持动态添加新任务的大规模多任务模型，并演示了该方法在 69 个公共图像分类任务上取得了有竞争力的结果，相对于在公共数据上训练的最佳模型，其错误率降低了 15%。

    May, 2022

  • 神经网络中的知识演化

    提出了一种基于知识进化的训练方法，它通过将深度网络分成适配假设和重置假设来迭代进化知识，能够在相对较小的数据集上提高性能、学习较瘦的网络并减少推理成本，达到 21% 的绝对性能提升和 73% 的相对推理成本降低。

    Mar, 2021

  • 深度進化神經反饋與離散世界模型

    通过遗传算法，同一物体的不同部分可以被联合训练，得到与分开训练相媲美的性能，该研究进一步证明了深度神经进化在复杂异构体系结构下的有效性。

    Apr, 2019

  • 因果世界模型的内在激励学习

    研究探索通过推断环境因果结构以收集相关干预数据为手段，建立捕捉传感器运动交互背后真实物理机制的世界模型对于提高深度学习、强化学习、迁移学习和泛化能力至关重要。

    Aug, 2022

  • GENEOnet: 基于群等变非扩张算子的新型机器学习范例。应用于蛋白质口袋检测

    该研究介绍了一种基于等变群的非扩张算子的计算新范式，称为 GENEOnet，可以用于解释机器学习和药物设计中的问题，其结果表明 GENEOnet 在准确性方面具有优异性能。

    Jan, 2022

  • 深度学习生成神经进化

    本篇论文探讨神经进化在深度学习中的作用，其中 HyperNeat 通过训练一种间接编码来实现学习大型神经结构，并且结合其他机器学习方法可以有效提取特征。

    Dec, 2013