modular addition | BriefGPT

关键词modular addition

搜索结果 - 4

二进制和三进制变压器的机理解释性
研究表明，将二进制和三进制变压器网络应用于大型语言模型能够显著减少内存并提高推理速度，并且研究结果显示，这些网络在学习模块化加法时与全精度变压器网络学习的算法相似，因此无法作为语言模型中更可解释的替代方案。
PDFa month ago
神经网络中的傅里叶电路：在数学推理和模块算术中释放大型语言模型的潜力
在机器学习领域中，研究神经网络和 Transformer 所采用的内部表示是一项重要挑战。本研究通过探索网络采用特定计算策略背后的原因，深入分析了样式化的单隐藏层神经网络和单层 Transformer 在解决模块化加法任务时学到的特征，并通
PDF5 months ago
机械论解释中的两个故事：时钟和匹萨（The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks）
该研究研究发现，神经网络在一些算法任务上重新发现已知的算法是可靠的，但在模块加法等问题上，模型的超参数和初始化的微小变化可能会导致从固定数据集中发现不同的算法，有些神经网络实现的是熟悉的 Clock 算法，而另一些实现的是先前未描述的，不太
PDFa year ago
通过机制可解释性进行 Grokking 的进展测量
通过对小型转换器的逆向工程，我们发现了一个算法，该算法使用离散傅里叶变换和三角恒等式将加法转换为圆周上的旋转，这为我们定义了进展措施，从而允许我们探索训练过程的动态性，将其分为三个连续阶段：记忆、电路形成和清除。
PDFa year ago