Continual Inference 是一个 Python 库，用于在 PyTorch 中实现 Continual Inference Networks (CINs)。CINs 是一类神经网络，专门为在线和批处理场景的高效推理而设计。该论文提供了关于 CINs 的全面介绍和指南，并提供了最佳实践和代码示例，以构建现代深度学习的复杂模块。

Apr, 2022

提出了一种全动态模型的方法，称为 LC-Net，旨在最大化深度卷积神经网络的计算效率和任务准确性，通过以层和卷积滤波通道为单位的层次推理动力学，能够预测冗余层和卷积滤波器 / 通道并学习保留计算结果以实现最大化任务准确性。

Jul, 2020

深度学习和增量计算方法，采用向量量化处理输入数据，通过离散化中间值以便复用信息，应用于 Transformer 架构，实现了复杂度与输入变动比例成正比的高效增量推理算法，并通过实验证明在文档分类中达到了和传统方法几乎相等的准确性，但处理微小编辑序列时所需操作次数降低到了原先的 12.1 倍。

Jul, 2023

最近在图像数据处理方面的研究进展表明，通过机器学习，尤其是深度神经网络（DNNs）的使用，可以通过数据驱动的人工智能为辐射探测器和成像设备提供新的优化和性能增强方案。我们概述了光子源的数据生成、基于深度学习的图像处理方法以及深度学习加速的硬件解决方案。目前大多数现有的深度学习方法是离线训练的，通常需要大量的计算资源。然而，一旦训练完成，DNNs 可以实现快速推理速度，并且可以部署到边缘设备上。边缘计算是一种新趋势，它具有较低的能量消耗（数百瓦或更少）和实时分析能力。虽然以往通常用于边缘计算的基于电子的硬件加速器（从中央处理器（CPU）到应用特定集成电路（ASICs）的通用目的处理器）正不断接近性能极限，在延迟、能量消耗和其他物理约束方面存在限制。这些限制催生了下一代模拟神经形态硬件平台，如光学神经网络（ONNs），用于高并行、低延迟和低能量计算，以提高深度学习加速。

Nov, 2023

过去十年来，深度学习模型在各种视觉感知任务中取得了显著进展，但其高计算资源需求限制了其在实际应用中的可行性。本综述通过四个关键领域的研究，即轻量级骨干模型的发展、面向特定计算机视觉任务的专用网络架构或算法、深度学习模型压缩技术以及在硬件平台上部署高效深度网络的策略，对计算效率高的深度学习进行了广泛分析，并讨论了该领域面临的关键挑战和未来研究方向。

Aug, 2023

我们提出了一种名为因果感知神经网络（CINN）的通用方法，用于将观测变量之间的层次化因果结构编码到神经网络中，从而提高其预测性能。通过将因果性结构化知识映射到神经网络的逐层设计中，CINN 通过连续优化问题将因果关系发现转化为定向无环图（DAG）学习来系统地从观测数据中发现因果关系，并通过专用架构和定制的损失函数将发现的层次化因果结构编码到神经网络中，实现了中间节点和叶节点的联合学习，显著提高了预测性能。

Nov, 2023

本文综述了目前深度神经网络的应用及其在计算机视觉、语音识别、机器人等 AI 任务中的高精度表现，同时也阐述了深度神经网络大规模部署所面临的高算力成本和能效问题，并提出了硬件设计、算法优化等多种解决方案以提高能效和算力，最后对比了各种深度神经网络的设计指标并展示了很多发展资源。

Mar, 2017

深度连续网络（DCNs）结合了空间连续滤波器和神经 ODE 的连续深度框架，能够学习滤波器的空间支持以及特征图的持续演化，与生物模型密切相关。DCNs 在标准图像分类和重构问题中具有多功能且广泛适用，可以提高参数和数据效率，并允许元参数化。我们展示了 DCNs 学习的尺度分布的生物合理性，并研究了它们在神经科学启发的模式补全任务中的性能。最后，我们通过改变输入对比度来实现 DCN 的高效实现。

Feb, 2024

本文总结了机器学习中的实际需求和挑战，重点介绍了深度神经网络的三种资源效率技术：量化神经网络，网络剪枝和结构效率，以及它们在诸如 CPU，GPU 和 FPGA 等嵌入式系统中的应用和实验结果。

Jan, 2020

本文提出了一种新的 CNN 设计方法，旨在通过对 CNN 架构和训练过程的综合干预来减少总推理计算量，通过引入一种新的结构元素作为附加组件到任何现代 CNN 架构中，系统地提出了一种数据驱动的开发 CNN 的公式，旨在实时改变大小和形式，从而使计算占用更小。最佳实现的结果表明了在几个现代高端移动计算平台上的显著加速。

Jan, 2017