本篇研究提出了自适应神经进化 (SANE) 方法以自动构建不同任务的轻量 DNN 结构，其中关键的设置是为不同的 DNN 类型定义的细胞和器官的搜索空间。 SANE 能够自适应地调整演化探索和利用以提高搜索效率，并提供了一种大规模且性能出众的 DNN 架构搜索的有效方法。

Nov, 2022

本文提出了一个名为 SANE 的框架，用于自动设计数据特定的 GNN 体系结构，并通过设计新颖且具有表现力的搜索空间和更有效的可微搜索算法，解决了 NAS 方法面临的计算难题。在四项任务和七个真实世界的数据集上的实验结果表明，SANE 在效率和效果方面比现有的 GNN 模型和 NAS 方法更为优异。

Apr, 2021

本文提出了一种使用基于对抗生成网络的方法进行网络嵌入的模型，通过引入 Wasserstein-1 距离和三种不同的变体来解决无监督学习和有监督学习之间的鸿沟，实现在低维嵌入向量空间中保留网络中的第一和第二阶接近度，实验结果表明，在链接预测、可视化和聚类任务中，我们的模型始终优于现有技术，并有显著的改进。

May, 2018

研究神经模型的训练过程中添加权重对搜索空间的影响，提出通过增加搜索空间来训练稀疏模型，以在多个深度学习任务中达到竞争性分数并提高硬件的利用率，鼓励超越当前使用的大型神经模型的研究。

May, 2021

本文介绍了一种基于模型动物园的神经网络权值表示学习方法，借助该方法可以生成高性能模型，此外还探讨了模型之间特性聚合对学习效果的影响。

Sep, 2022

使用自激活神经模块及模块化结构，本文提出了一种基于视觉强化学习环境的无先验任务边界设定的持续学习方法，以避免忘却与利用旧有的技能，并在生成环境中进行了相关实验。

Dec, 2022

对于多层神经网络中的权值空间，MLN 是精确可解的模型，具有复制对称性，通过内部表达与训练集相关的偶奇和委员会机器等，推导其学习和泛化能力，并找到了一些新的精确结果。

Jan, 1995

本文提出了在神经网络中使用自监督学习方法来学习超级表示法，引入了特定领域的数据增强和适应的注意力架构，并通过实验证明该方法能够较好地预测超参数、测试精度和泛化差距，并能用于超越分布场景。

Oct, 2021

建立适应不同应用场景中多样资源约束的变量大小模型，权重初始化是训练前的重要步骤。Learngene 框架通过从大型已训练模型中学习一部分紧凑的 Learngene，再将其扩展用于初始化变量大小模型。本文分析了指导已训练 Learngene 层扩展的重要性，提出了一种称为 SWS（逐阶段权重共享）的简单而高效的 Learngene 方法，其中 Learngene 层和其学习过程对于在不同规模上初始化模型提供知识和指导。在 ImageNet-1K 上的大量实验证明，SWS 相对于从头开始训练的许多模型，性能更好且减少了约 6.6 倍的总训练成本。在某些情况下，SWS 经过 1 轮调优后效果更好。当初始化适应不同资源约束的变量大小模型时，与预训练和微调方法相比，SWS 在减少约 20 倍的存储参数以及约 10 倍的预训练成本的同时取得更好的结果。

Apr, 2024

本文旨在探讨使用离散余弦变换对循环神经网络的权重矩阵进行编码的方法，以提高算法的可扩展性和效率，并在 enwik8 数据集上进行了实验。

Dec, 2021