May, 2023
重访并行上下文窗口:一种令人沮丧的简单替代方法和思维链恶化
Revisiting Parallel Context Windows: A Frustratingly Simple Alternative and Chain-of-Thought Deterioration
Kejuan Yang, Xiao Liu, Kaiwen Men, Aohan Zeng, Yuxiao Dong...
TL;DR通过评估 Parallel Context Windows (PCW) 的实际应用,我们发现这种基于并行集成模式和语言模型的计算方法存在一些局限性,如缺失有效的基础算法、在复杂的推理任务中效果下降等,建议未来在此方向上进行更多的研究。