通过利用神经元平衡的概念，从单个参数转向整个神经元的行为，实施参数训练，并测试不同的学习策略和任务，验证神经元平衡，并观察神经元平衡取决于特定的学习设置，从而达到与现有技术同等性能的研究。

Jul, 2022

本文介绍了一种基于分析神经网络训练过程中连接权重的演化动力学来进行有效模型选择的新型框架，并提出了神经电容指标作为预测性能的度量标准。通过对 17 个广泛使用的预先训练的 ImageNet 模型和 5 个基准数据集的大量实验，验证了神经电容指标的有效性，相比现有方法更为高效。

Jan, 2022

移动设备上处理视觉数据具有多种应用，但现有的计算机视觉技术通常过于耗电无法部署在资源受限的边缘设备上。本文提出一种新技术，通过引入超参数来动态调整深度神经网络的精确度和能源消耗，无需重新训练即可适应不同边缘应用的硬件约束与精确度要求。该技术称为 AdaptiveActivation，实验证明其在流行的边缘设备上可以达到基准的误差范围内，并且比基准技术所需内存减少了 10% 到 38%，从而提供更多的精确度与效率权衡选项。

Sep, 2023

本文提供基于结构剪枝的边缘设备上的 CNN 微调方法，旨在提高模型精度和降低计算和存储性能消耗。结果表明，数据感知的剪枝和重新训练可以在各种子集，网络和剪枝级别上提供 10.2pp 的精度提高。

Jun, 2020

本文提出了一种新的梯度过滤方法，使用少量的独特元素创建特殊的结构来显著减少反向传播期间的计算复杂度和内存消耗，从而实现了设备端深度学习模型训练，显著提高了速度和节省了能源。

Jan, 2023

本文引入了一个形式化的训练模式：在有限资源（预算）约束下的训练，分析了在此模式下的学习率调整方法，通过在多个任务数据集上的实验验证了线性衰减方法的优秀表现，并强调了在该模式下的预算收敛现象的重要性。

May, 2019

在受限资源的移动和边缘环境中，创新的卷积神经网络（CNN）训练系统 NeuroFlux 旨在提高训练效率，通过引入自适应辅助网络和块特定的自适应批处理大小来减少 GPU 内存使用，并缩短训练时间，从而实现了 2.3 倍到 6.1 倍的速度提升和精度不损失的模型。

Feb, 2024

我們提出了一種動態感測器選擇方法，用於深度神經網絡（DNNs），能夠針對每個具體的輸入樣本推斷出最佳的感測器子集選擇，而不是對整個數據集使用固定選擇。我們通過 Gumbel-Softmax 技巧在端到端的方式中聯合學習了這種動態選擇，在標准反向傳播中學習離散的決策。然後，我們展示了如何使用這種動態選擇來增加無線感測器網絡（WSN）的壽命，通過對每個節點允許傳輸的頻率施加限制。我們通過包含動態空間濾波器進一步提高性能，使得任務 - DNN 能夠更好地處理多種可能的節點子集。最後，我們解釋了如何在 WSN 的不同節點之間分配最佳通道的選擇。我們在身體傳感器網絡的情境中驗證了這種方法，其中我們使用真實的腦電圖（EEG）感測器數據來模擬 EEG 感測器網絡。我們分析了傳輸負載和任務準確性之間的權衡結果。

Aug, 2023

本文介绍了一种基于神经网络的设备本地 (on-device) 学习方法，该方法能够在低端设备上提高边缘人工智能 (Edge AI) 应用的精确度并节省计算和通信成本，特别是在有噪声的环境下重训练 (retraining) 后可显著提高异物检测 (anomaly detection) 的准确性。

Mar, 2022

为促进边缘智能在不断变化的环境中的发展，本文研究了在有限计算资源约束下的设备上的增量学习。与当前只关注高效训练而不考虑灾难性遗忘的方法不同，本文提出了一种简单而有效的面向边缘的增量学习框架，通过对神经网络的核心元素的知识强度的经验研究，发现中心核心对于学习新数据的知识强度最大化起关键作用，冻结其他核心元素可以在克服灾难性遗忘方面取得良好平衡。基于这一发现，我们进一步设计了一个便于梯度计算和反向传播的中心敏感核心优化框架，并提出了一种动态通道元素选择策略，以促进稀疏正交梯度投影以进一步减少优化复杂性。广泛的实验验证了我们的方法的高效性和有效性，例如，与现有的设备上训练方法相比，我们的方法在甚至更少的内存和近似计算的情况下实现了平均准确度提升 38.08%，表明其在设备上的增量学习方面具有显著潜力。

Jun, 2024