iteration heads | BriefGPT - AI 论文速递

关键词iteration heads

搜索结果 - 1

迭代头部：关于思维链式机制的研究
本文通过在可控且可解释的环境中演示，填补了对 CoT 推理内在机制和出现条件的理解有限之处，观察到一种专门用于迭代推理的特殊注意力机制 ——“迭代头”，并追踪到注意力层次上这些迭代头的出现和精确运作，并测量其所产生的 CoT 技能在任务间的
PDFa month ago