通过将微小神经网络（TNNs）作为权重共享教师网络的子网络，利用梯度手术和不确定性感知蒸馏两种方法，我们提出了 NetDistiller 框架，以提高 TNNs 的可实现准确性，从而解决边缘设备的内存、计算、带宽和电源供应的限制问题。实验证实了 NetDistiller 在提升 TNNs 可实现准确性方面的有效性，胜过其他最先进的方法。

Oct, 2023

TinyTrain 是一个在设备上训练的方法，通过选择性更新模型的部分并明确处理数据稀缺性，大大减少了训练时间，在减少计算和内存占用的同时，实现了高精度的未知任务。

Jul, 2023

Tiny Machine Learning （TinyML）是机器学习的新领域。通过将深度学习模型应用于无数物联网设备和微控制器（MCU），我们扩大了人工智能应用的范围并实现了无处不在的智能。然而，由于硬件限制，TinyML 具有一定挑战性，因为内存资源有限，难以容纳为云和移动平台设计的深度学习模型；同时，裸机设备对编译器和推理引擎的支持有限。因此，我们需要对算法和系统栈进行共同设计，以实现 TinyML。在此综述中，我们首先讨论 TinyML 的定义、挑战和应用；接下来，我们调查了最近在 MCUs 上 TinyML 和深度学习的进展；然后，我们介绍了 MCUNet，展示了如何通过系统 - 算法共同设计，在物联网设备上实现 ImageNet 规模的人工智能应用；我们还将解决方案从推理扩展到训练，并介绍了小型设备上的训练技术；最后，我们展示了这个领域的未来发展方向。今天的大型模型可能成为明天的小型模型，TinyML 的范围应该随着时间的推移而不断发展和适应。

Mar, 2024

本文提出了 TransBoost，这是一种细调任何深度神经模型并显著提高其性能的方法，有效地适用于各种图像分类数据集，并在多种结构上达到了最先进的传导性能。

May, 2022

该论文提出了一种新颖的梯度提升框架，其中浅层神经网络被用作 “弱学习器”，该框架考虑了一般的损失函数，并针对分类、回归和排序学习提供了具体的示例。该模型通过完全修正步骤纠正了经典梯度提升决策树贪婪函数逼近的缺陷，并在多个数据集上的三项任务中表现出超越同类方法的结果。本文还进行了削减研究，以探讨每个模型组成部分和模型超参数的影响。

Feb, 2020

本文提出了一种名为 “火箭发射” 的方法，利用笨重网络来指导轻量级网络的学习，并分析了不同的损失函数，采用了最佳性能的损失函数来推动轻量级网络表现得像笨重网络。实验结果表明，这种方法能够让轻量级模型获得之前只能由更复杂的模型才能实现的性能。

Aug, 2017

本文介绍一种新技术 Deep Incremental Boosting，它是从 AdaBoost 发展而来，并专门适用于 Deep Learning 方法，它可以缩短训练时间并提高泛化能力。作者借鉴了 Transfer of Learning 方法，以减少每个增量 Ensemble 成员的启动时间，我们展示了一系列在一些常见 Deep Learning 数据集上的实验，印证了一些初步结果，并讨论了 Deep Incremental Boosting 对传统 Ensemble 方法在 Deep Learning 方面带来的潜在改进。

Aug, 2017

介绍了一种被称为 BottleNet 的新型深度学习架构，能够减小发送至云端的特征大小，并提出一种通过训练进行补偿的方法，从而在减少端到端延迟和移动能耗方面有了显著的改善。

Feb, 2019

本研究提出了 MCUNet 框架，该框架共同设计了高效的神经结构（TinyNAS）和轻量级推断引擎（TinyEngine），使得可以在微控制器上进行 ImageNet 规模的推理。

Jul, 2020

本文研究如何进行神经网络模型和加速器的协同设计，展示了这样的设计可以大幅提升深度学习的性能。

Apr, 2018