Jun, 2024

令牌经济中的推理:对 LLM 推理策略的预算感知评估

TL;DR考虑计算预算并结合性能指标,对比了不同推理策略在语言模型中的效果,发现复杂推理策略的成功并非仅仅基于算法的巧妙设计,更取决于分配的计算资源。