Jun, 2024

ElasticRec:一种基于微服务的模型服务架构,实现对推荐模型的弹性资源扩缩容

TL;DRElasticRec 是一种模型服务架构,为推荐系统提供资源弹性性和高内存效率。相较于现有推荐系统预测服务系统,ElasticRec 通过微服务的软件架构和基于效用的资源分配实现了平均内存分配大小的 3.3 倍减少、内存效用的 8.1 倍增加,从而降低了 1.6 倍的部署成本。