Jan, 2024
机器学习中的计算分化：对学术贡献与审查的威胁？
The Compute Divide in Machine Learning: A Threat to Academic Contribution and Scrutiny?
Tamay Besiroglu, Sage Andrus Bergerson, Amelia Michael, Xueyun Luo, Neil Thompson
TL;DR工业与学术人工智能实验室在使用计算资源方面存在显著差异，我们通过数据调查探讨了计算资源差距在塑造机器学习研究中的作用。我们发现，计算资源差距与在计算密集型研究主题，尤其是基础模型方面仅限于学术研究团队的减少相关。我们认为，学术界在推动相关技术、提供批判性评估和审查以及在这些模型的传播方面可能扮演的角色会更小。随着研究重点的变化，学术研究明显向接纳工业内部开发的开源、预训练模型方面转变。为了应对这一趋势带来的挑战，尤其是对有影响力模型的减少审查，我们建议采取一些方法，致力于有序扩展学术洞见。国家赞助的计算基础设施结合开放科学倡议可以合理地增加学术计算资源的获取，重点关注可解释性、安全性和保密性方面的研究。结构化的资源获取计划和第三方审计机制也可以允许对工业系统进行有限的外部评估。