Nov, 2022
利用数据包络分析评估自然语言模型的资源和性能权衡
Assessing Resource-Performance Trade-off of Natural Language Models using Data Envelopment Analysis
Zachary Zhou, Alisha Zachariah, Devin Conathan, Jeffery Kline
TL;DR本文采用数据包络分析(DEA)对自然语言模型进行资源 - 性能交易的评估,得出了一组有效的性能和效率评估框架,并成功地应用于 14 个不同语言模型的实证结果,该方法可以平衡性能和资源消耗。