研究表明，机器学习（尤其是深度学习）发展的加速，是医学影像分析和计算机辅助干预领域取得突破的原因。然而，深度学习模型需要大量的训练数据、计算和能源成本，这是在临床部署这些模型时要克服的障碍。为了解决这个问题，机器学习社区正在努力引入资源效率概念，以减轻内存使用量等问题。本文通过探究模型资源消耗和性能之间的平衡，特别是在诊所等重要场景中使用的模型中，展示了这些方法在减少资源利用方面的有效性和性能方面的成本。

Mar, 2023

本文提出了一种基于长短时记忆神经网络的序列到序列模型的方法，用于预测共同执行作业的足迹对资源的使用情况和执行时间的变化，并在高性能计算基准测试中进行了验证，表明该模型能够正确地识别以前看到和未看到的共同调度作业的资源使用趋势。

Jun, 2020

在资源匮乏的情景下，我们评估了早期学习曲线估计作为选择在非深度学习者应用的最适模型的实用机制，以提高性能并控制成本。使用西伊比利亚 - 罗曼斯语族中的加利西亚语作为案例研究，实验结果与我们的预期一致。

Feb, 2024

本文引入了一个形式化的训练模式：在有限资源（预算）约束下的训练，分析了在此模式下的学习率调整方法，通过在多个任务数据集上的实验验证了线性衰减方法的优秀表现，并强调了在该模式下的预算收敛现象的重要性。

May, 2019

本文使用贝叶斯深度学习模型预测未来云计算资源需求的分布和不确定性，并通过多组数据集进行不同的预训练和微调，比较单变量和双变量模型的精确度和对 QoS 的影响，并检验了模型的迁移学习能力和在真实环境中的可部署性。

Feb, 2023

在过去的十年中，深度学习在自然语言处理、计算机视觉和生物医学信号处理等各个人工智能领域中占据主导地位。虽然模型的准确性有了显著提高，但将这些模型部署在移动手机和微控制器等轻量设备上受到资源限制的制约。本调查报告针对这些设备提供全面的设计指导，详细介绍了轻量模型的细致设计、模型压缩方法和硬件加速策略。本工作的主要目标是探索在不影响模型准确性的情况下克服硬件限制的方法和概念。此外，我们还探讨了未来轻量深度学习的两个值得关注的方向：TinyML 和大型语言模型的部署技术。尽管这些方向无疑具有潜力，但它们也带来了重大挑战，鼓励研究未开拓的领域。

Apr, 2024

本研究专注于利用模型压缩技术，如剪枝和知识蒸馏，将预先训练的计算机视觉模型的复杂性和参数总数降低，从而在无法访问边缘基础设施时允许在移动机器人上执行这些任务。结果表明，可以删除计算机视觉模型总参数的 90％，而不会显着降低模型的准确性。

Jul, 2022

我们提出了一个集成的预测 - 优化（PredOpt）框架，通过预测二进制决策变量在最优解中的值，高效地解决顺序决策问题。我们通过循环神经网络和滑动注意机制捕捉组合优化问题的顺序特性，并将基于注意力的编码器 - 解码器神经网络架构与消除不可行性和泛化框架相结合，以学习高质量的适用于时间相关优化问题的可行解。我们的结果表明，可以成功地使用在较短和较小维度实例上训练的模型来预测更长更大维度的问题。优化解决时间可缩短三个数量级，平均最优性差距小于 0.1%。我们将 PredOpt 与各种专门设计的启发式方法进行比较，并证明我们的框架表现优于它们。PredOpt 对于需要立即且重复求解的动态 MIP 问题具有优势。

Nov, 2023

基于有限资源监控依赖进程的人群是异常事件检测的关键。提出了一种新的在线协作学习方法，通过理论分析和实验证明了该方法的效率。

Jul, 2023

本文总结了机器学习中的实际需求和挑战，重点介绍了深度神经网络的三种资源效率技术：量化神经网络，网络剪枝和结构效率，以及它们在诸如 CPU，GPU 和 FPGA 等嵌入式系统中的应用和实验结果。

Jan, 2020