Sep, 2024

黑曜石:在安全机器学习加速器上进行高效推断的协同状态空间探索

TL;DR本研究解决了在机器学习加速器的信任执行环境中,优化工作负载以提高性能和能效的挑战。通过协同使用分析模型和周期准确模型探索状态空间,Obsidian框架能够实现最佳模型映射,并且在云和边缘部署中显著降低了推断延迟和能耗,展示了其有效性和潜在影响。