通过神经网络提出了一种新颖的完全可微的超盒子分类框架，能够以端到端的方式高效地训练超盒子模型，并取得显著降低的训练时间和卓越的分类结果。

Jul, 2023

通过一个称为 Concept-Monitor 的框架以及一个新的统一的嵌入空间和概念多样性度量方法，我们提出了一个通用的框架，可以自动帮助我们了解黑箱 DNN 训练进程，并且对 DNN 培训过程进行可解释的可视化，还提出了一个新的训练正则化器，以激励隐藏神经元学习不同的概念，从而改善培训表现，并应用于敌对培训、微调和网络修剪等几个情景中。

Apr, 2023

本研究介绍了一种高度可配置的神经形态计算基础，其可用于模仿多种类型的神经网络。系统的核心是一块混合信号芯片，具有神经元和突触的模拟实现和动作电位的数字传输。它的固有并行性和高加速因子使得这个仿真设备比传统计算机具有更大的优势。其可配置性允许实现几乎任意的网络拓扑和使用广泛变化的神经元和突触参数。计算的噪声通过校准程序进行降低。该系统的集成开发环境使神经科学家可以在没有神经形态电路设计先验知识的情况下操作该设备。作为该系统能力的展示，我们描述了成功仿真了六种不同的神经网络，这些网络涵盖了广泛的结构和功能。

Oct, 2012

本研究通过引入新的框架 NASimEmu，通过为训练提供模拟器和仿真器，旨在使 penetration testing agents 更容易在模拟环境中训练，并能够在真实的仿真环境中进行测试评估，以提高仿真器的现实性和性能。

May, 2023

本文介绍了 RETEXO，这是现有图神经网络的一种新变换，用于在完全分布式设置下提高通信效率，并在监督节点分类任务中证实，即使训练浅层 GNN，它也可以提供高达 6 个数量级的更高的通信性能，而在精度方面只有微小的权衡。

Feb, 2023

本文研究 DNN 分布式训练的主要瓶颈问题，结果显示，当前最先进的方法 SGD 存在大量通信问题，而理论上的约束也使得 DNN 训练的扩展性较差。

Sep, 2016

在本研究中，我们提出了一种可微分的模拟架构，用于关节刚体动力学，使得可以在计算的任何时刻利用神经网络来增强分析模型。该架构通过基于梯度的优化，在真实数据集和 sim2sim 转移应用的初步实验中，有效地识别模拟参数和网络权重，同时通过随机搜索方法克服了不良局部最优解。

Jul, 2020

本文介绍一种训练框架，可对机器学习进行科学计算，并通过缓存数据来减轻同时生成数据的时间延迟。实验表明，该框架在多参数 Lorenz 吸引子的测试中成功缓解了数据偏差，从而可以更好地捕捉系统的复杂混沌动态。

Nov, 2022

本文介绍了如何利用迭代更新来补偿模拟神经网络在模拟硬件中出现的异常，并展示了在 BrainScaleS 芯片上优化后的脉冲神经网络，使计算性能得到提高。同时，利用记录硬件网络活动并通过反向传播在软件上计算参数更新的方式，仅经过几十次迭代，该脉冲网络显示出了接近理想的计算性能，证明了其在解决模拟硬件固有变异等问题方面的潜力。

Mar, 2017

深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

Jan, 2024