通过动态神经网络中的 skimming 这个研究方向，可以很好地解决预训练语言模型参数过多的问题，实现神经网络的有效扩展，为处理自然语言提供有效的支持。
Feb, 2022
本文介绍了动态稀疏神经网络 (DSNN) 技术，该技术能够在训练后根据需要在运行时即时切换到任何预定义的稀疏度配置，有效地解决了自动语音识别 (ASR) 等场景中硬件资源限制和延迟要求不同的问题，实验结果表明，DSNN 模型的表现与单一稀疏度网络的表现相当。
May, 2020
本文对不自回归生成（NAR）进行了系统的调查，并比较和讨论了不同方面的各种非自回归翻译（NAT）模型，包括数据处理、建模方法、训练标准、解码算法以及受到预训练模型的好处，同时简要回顾了 NAR 模型在机器翻译以外的其他应用，并讨论了未来探索的潜在方向。
Apr, 2022
本文综述了动态神经网络在深度学习领域的最新研究进展和主要研究方向，分析了其在计算效率和适应性等方面的优势，总结了架构设计、决策方案、优化技术和应用开发等方面的研究问题以及未来发展的方向。
Feb, 2021
设计一个基于概念引导的非自回归模型，为了更好地管理概念转换并能够顺序解码引入多个概念，实现可控和连贯的对话生成，实验表明该模型在速度和质量上都优于现有最先进的模型。
Sep, 2021
我们提出并系统评估了三种训练动态路由人工神经网络的策略：通过学习变换的图形，不同的输入信号可以采取不同的路线。我们发现，在训练用于分类图像的动态路由网络中，层和分支变得专门处理不同类别的图像。此外，给定固定的计算预算，动态路由网络往往比可比的静态路由网络表现更好。
Mar, 2017
NN-Factory 是一个一站式框架，通过基于生成模型的方式，能够在不同的边缘场景中快速生成定制的轻量级模型，以满足边缘任务和资源限制的需求。
Aug, 2023
深度学习和增量计算方法，采用向量量化处理输入数据，通过离散化中间值以便复用信息，应用于 Transformer 架构，实现了复杂度与输入变动比例成正比的高效增量推理算法，并通过实验证明在文档分类中达到了和传统方法几乎相等的准确性，但处理微小编辑序列时所需操作次数降低到了原先的 12.1 倍。
Jul, 2023
本文提出了一种基于 BERT 的非自回归文本生成模型，通过引入新的解码策略（ratio-first）以及机制来解决 NAG 模型中的两个问题，并在三个文本生成任务上进行全面评估，证明该模型在速度和性能上均优于现有的非自回归基线模型，在许多强自回归模型上也取得了有竞争力的性能.
通过快速微调模型来适应生成样本与观察证据匹配是一种适用于各种深度生成模型和机器人环境的简单而通用的方法。该方法可应用于自回归模型和变分自动编码器，并在物体形状推断、逆运动学计算和点云完整性方面展现了其可用性。
Oct, 2023