理解模块化多项式

Jun, 2024

Grokking Modular Polynomials

Darshil Doshi, Tianyu He, Aritra Das, Andrey Gromov

TL;DR神经网络对模块化算术任务的学习受限，无法很好地进行推广；然而，在文献中已知有一种多层感知机（MLP）网络权重的解析解适用于模块化加法任务，本文将这种解析解的类别扩展到包括模块化乘法和具有多个项的模块化加法。此外，我们展示出在这些数据集上经过训练的真实网络通过泛化（理解）学习类似的解，我们结合这些 “专家” 解来构建在任意模块化多项式上具有推广性的网络，并猜测通过神经网络训练的模块化多项式可被分类为可学习和不可学习，并提供了支持我们观点的实验证据。

Abstract

neural networks readily learn a subset of the modular arithmetic tasks, while failing to generalize on the rest. This limitation remains unmoved by the choice of architecture and training strategies. On the other

neural networks modular arithmetic tasks analytical solution generalization modular polynomials

发现论文，激发创造

学习和泛化模拟元建模中的多项式

通过收集和提出乘性神经网络 (MNN) 的架构作为递归构建块，本文在多项式时间步更新领域进行了模拟元模型的研究，实验证明了 MNN 在泛化能力上优于基准模型，并针对流行病学模拟模型展示了 MNN 的归纳偏差，即学习和泛化高阶多项式。

Jul, 2023

通过边缘最大化实现特征的出现：代数任务中的案例研究

理解神经网络学习到的内部表示是机器学习科学中的一个基石挑战。本文探讨了一个互补问题，即为什么网络会采用特定的计算策略，通过代数学习任务对用于这些任务的网络学到的特征进行了理论分析，证明了训练网络利用傅立叶特征进行模块化加法，以及使用与不可约群表示对应的特征来执行一般群的组合，与 Nanda 等人和 Chughtai 等人的实证观察密切一致。

Nov, 2023

神经网络中的傅里叶电路：在数学推理和模块算术中释放大型语言模型的潜力

在机器学习领域中，研究神经网络和 Transformer 所采用的内部表示是一项重要挑战。本研究通过探索网络采用特定计算策略背后的原因，深入分析了样式化的单隐藏层神经网络和单层 Transformer 在解决模块化加法任务时学到的特征，并通过与实证观察相结合，为理解神经网络的计算机制作出了贡献。

Feb, 2024

层次网络的模块化增长：高效、通用、稳健的课程学习

通过渐进式的模块化增长，研究表明，模块化网络在记忆任务上具有更好的性能、更强的泛化能力和对某些扰动的鲁棒性，即使只有模块之间的连接被训练，结构拓扑引入的归纳偏置足够强大，使得网络在固定了模块内连接的情况下仍能表现良好，并且逐渐模块化增长的循环神经网络能够在进化时间尺度上学习越来越复杂的任务，并且有助于构建更可扩展且可压缩的人工网络。

Jun, 2024

用多项式神经网络增强深度分类器

本篇研究工作将深度分类器的研究归纳到一个统一的框架下，其中将最先进的架构用不同程度的多项式形式表示，并对其进行了评估，结果表明其在模型性能和模型压缩方面具有高表现性，并且在有限数据和长尾数据分布存在的情况下具有优异的效果。

Apr, 2021

模块化元学习

本文提出了一种学习一组神经网络模块并以不同方式组合的策略，并通过重复使用模块来实现组合概括，提高机器人相关问题的性能。

Jun, 2018

复杂模块算术中解释曲解的变形金刚

通过解释性的逆向工程，我们观察到通过 Grokking 在复杂模块化算术中学习到的内部电路，强调了它们动力学的显着差异，此外我们引入了模块化算术的新进展衡量以及可识别模型的内部表示。

Feb, 2024

阶梯多项式神经网络

本文介绍了一种基于乘积构建出的新型激活函数的多项式前向神经网络，其可以被标准训练技术（如批量归一化和丢弃）所训练，并且在回归和分类任务上表现良好，同时具有一些在贝叶斯学习中非常有用的解析计算数量。

Jun, 2021

多项式神经网络的几何

研究使用单项式激活函数的多项式神经网络 (PNNs) 的表达能力和学习过程。探讨了使用代数几何工具对某些神经流形进行研究：给出了半代数集的显式描述，并表征了其 Zariski 闭包，称之为神经多样性。研究了神经多样性的维度，并将一个代数度量，即学习度，与神经多样性相关联。维度用作网络表达能力的几何度量，学习度用作训练网络的复杂度度量，并提供了可学习函数数量的上限。这些理论结果与实验证明相伴。

Feb, 2024

模块乘法的机器学习

通过密码应用为动机，我们研究了两种机器学习方法用于模块乘法：即循环回归和序列到序列变换器模型。我们结果中两种方法都取得的有限成功为基于模块乘法的密码系统中任务的困难性提供了证据。

Feb, 2024