BriefGPT.xyz
Jan, 2025
完全均匀变压器用于奇偶性识别
A completely uniform transformer for parity
HTML
PDF
Alexander Kozachinskiy, Tomasz Steifer
TL;DR
本文研究了奇偶性语言的识别问题，提出了一种新的三层恒定维度变压器，且其参数矩阵和位置编码不依赖于输入长度。这一方法相比于Chiang和Cholak的构造有了显著改进，他们的构造依赖于输入长度的位置信息。该研究的主要发现是该新型变压器在处理奇偶性识别时能够更加高效和简洁。
Abstract
We construct a 3-layer constant-dimension
Transformer
, recognizing the
Parity Language
, where neither parameter matrices nor the
Positional Encod
→