Feb, 2024

自适应推断:理论限制和未开发的机会

TL;DR提出了第一个量化自适应推理算法效率和性能提升机会规模的理论框架,通过经验证据展示了在计算机视觉和自然语言处理任务中可以实现 10-100 倍的效率提升而不会造成任何性能损失,同时提供了关于通过自适应推理状态空间的最佳选择和设计来提高可实现的效率提升的见解。