deep learning networks find intricate features in large datasets using the
backpropagation algorithm. This algorithm repeatedly adjusts the network
connections.' weights and examining the "hidden" nodes behavior
我们提出了一种基于神经切向核函数(NTKs)的理论方法来研究神经网络在捕捉精确知识方面的潜在机制,并发现激活函数的选择会影响特征提取,此外我们还发现自注意力模型和 CNN 模型在学习 n 元语法方面的局限性,而基于乘法的模型则在该领域表现出色。我们的研究提供了对大型语言模型基本组件在角色和能力方面的深入理解,从而推动对这些复杂系统的更广泛理解。