- 面向计算内存硬件的深度神经网络架构和配置的联合优化
使用 CiMNet 框架，通过同时搜索最优子网络和硬件配置来创建下游任务准确性和执行指标（如延迟）的帕累托最优前沿，该框架对于 CNN 和 Transformer 系列的不同模型结构都展现了显著的效果。
- SimQ-NAS: 同時量化策略與神經架構搜尋
通过使用多目标搜索算法与轻度训练的预测器相结合，我们展示了在准确性、模型大小和延迟等不同性能目标中，我们的方法在 ViT、BERT、BEiT-3 和 ResNet 等转换器和卷积网络的架构上比各自的基准表现更好，特定网络的性能提升在延迟方面 - 通往通用超级网络的自动神经架构搜索
提出第三代 “只训练一次（OTOv3）” 自动化系统，在不需要人工手工干预的情况下训练通用超级网络，并以单次方式生成高性能子网络，该系统在广泛的超级网络上实现了很好的优化性能，并且相对于超级网络及其他技术水平优越的性能。
- NIPS残差网络的激发性训练：一种社会心理学视角的懒惰现象
通过重新审视残差网络训练过程的社会心理学角度，我们发现残差网络普遍存在类似社会懒惰问题的 “网络懒惰” 问题，并进一步提出了 “刺激训练” 策略来加强残差网络的性能。具体地，我们使用 KL 散度损失来作为残差子网络的额外监督，以使整体目标与 - COLING基于提示的多跳问题回答的保护性学习
本文提出了 Prompt-based Conservation Learning (PCL) 框架，提供支持证据不足以证明模型已完成所需推理以获得正确答案。通过在单跳 QA 任务上训练模型并为多跳 QA 任务分配额外的子网络，PCL 获得了 - ECCV可流式神经场
提出了可流式传输的神经场模型，通过可执行的各种宽度的子网络，可以重构不同品质和部分信号，例如，较小的子网络产生平缓和低频信号，而较大的子网络可以表示细节，实验结果表明，该方法有效地应用于 2D 图像，视频和 3D 信号。同时，该方法还利用参 - CVPRDRESS：动态实时稀疏子网络
本文提出了一种名为 DRESS 的新型训练算法，用于从同一主干网络中通过基于行的非结构稀疏性采样多个子网络，并通过加权损失并行训练这些子网络，以及利用参数重用和基于行的精细采样策略来实现高效存储和设备适应。在公共视觉数据集上的大量实验证明， - ICML并非所有的抽奖都平等
通过实验证明，在可接受的神经网络大小下，要发现优秀的稀疏子网络，比较小的神经网络更容易受益于 Lottery Ticket Hypothesis 并且得到更好的训练效果。
- 多语言模型中的语言中立子网络发现
本文使用抽象的彩票票假设，发现不同语言的子网络是拓扑相似的（即语言中性），这使它们成为具有有限性能下降的跨语言转移的有效初始化。
- 一种硬件感知系统，用于加速深度神经网络优化
本文提出了一个自动且高效地从预训练的超网络中找到针对不同性能度量和硬件配置进行优化的子网络的综合系统，在多个领域中与现有最先进的超网络训练方法无缝配合，展示了如何将新颖的搜索策略与演化算法相结合，加速 ResNet50、MobileNetV - ECCV通过增强弱子网络来提高鲁棒性
研究表明深度网络对扰动非常敏感，本文提出一种新的训练方法，通过弱子网的增强来提高深度网络的鲁棒性，这种方法提高了对受损图像的鲁棒性，同时在未经损坏的数据上提高了准确性。
- CVPR通过候选增强和渐进式训练来改善超网的排名相关性
通过重新设计超网络的子网络，逐步添加窄分支以减少权重共享的程度并提高排名相关性，可以有效减轻不同候选网络之间的相互干扰，从而提高了神经结构搜索的自动化设计效率。该方法在 CVPR2021 轻量级 NAS 挑战赛超级网络赛道中获得了第一名。
- 通过通道交换的深度多模态融合
本文提出了一个无需调整参数的多模态融合框架 ——CEN，它能动态地交换不同模态的子网络之间的通道，通过 Batch-Normalization 控制通道的重要性，同时保证交换过程的有效性和性能优化，这种方法在 RGB-D 数据的语义分割和多 - AAAI利用图卷积网络匹配权重共享 NAS 的搜索空间
本文针对神经架构搜索中子网络精度不足的问题，提出一种基于图卷积网络的训练策略，提升搜索性能，实现更高的排名相关系数。同时，该方法还具有适用于多种硬件限制的灵活性。
- 实用的彩票票假设在对抗训练中的应用
本文提出彩票票据假说，展示了深度神经网络中存在的可训练子网络，这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛，我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性，此外，这些子网络能够 - SpatialFlow: 联接全景分割的所有任务
该研究论文提出了一种称为 SpatialFlow 的基于空间信息流的新型定位感知与统一框架，利用子网络和信息流来解决全景分割中物体位置与场景理解问题，其实现在 MS-COCO 和 Cityscapes 全景基准测试上获得了最先进的成果。
- MutualNet: 通过宽度和分辨率的相互学习来自适应卷积神经网络
提出了宽度 - 分辨率互学习方法 MutualNet，通过训练不同宽度的多个子网络来实现自适应准确性和效率之间的权衡，最终在不同计算约束下，通过互学习获得更好的 ImageNet top-1 精度。
- 深度卷积神经网络的增量式训练
提出了一种增量训练方法，将原始网络分成子网络，并在训练过程中逐步将其合并到运行的网络中。此方法通过引入前瞻初始化，使网络动态生长更平滑，并可用于仅使用全局参数分数的情况下识别原始最先进网络的较小分区，以实现更快的训练。在 CIFAR-10