BriefGPT.xyz
Ask
alpha
关键词
rasp
搜索结果 - 2
变压器作为传感器
通过与有限转导器的关系,我们研究了变压器的序列到序列映射能力,并发现它们能够表达出令人惊讶的大类转导。我们使用 RASP 的变体作为中间表示形式,该编程语言旨在帮助人们 “像变压器一样思考”。我们将现有的布尔变体 B-RASP 扩展到序列到
→
PDF
3 months ago
转换器可以学习哪些算法?长度泛化研究
大型语言模型的新兴泛化特性方面已经有了惊人的发现,但在诸多简单推理任务(如算术和奇偶性等)上仍存在问题。本研究针对算法任务的长度泛化范围,通过提出一个统一的框架,阐述了 Transformer 模型在特定任务上表现出的能力和方式。
PDF
9 months ago
Prev
Next