learning dynamics | BriefGPT

关键词learning dynamics

搜索结果 - 76

隐藏能力的出现：探索概念空间中的学习动态
通过新的概念空间框架分析模型的学习动态，在合成定义的玩具数据集上发现生成模型具备突然且一致地在训练过程中出现的潜在能力，虽然模型可能在普通输入提示下无法展示这些能力。
PDF7 days ago
神经网络和人类中的最优恒定解的早期学习
在这篇研究中，我们展示了实证和理论上的结果，证明深度神经网络在学习目标函数之前存在一个早期阶段，其中网络学习最佳常数解（OCS），即初始模型的响应与目标标签的分布相匹配，完全忽略输入中提供的信息。通过使用分层类别学习任务，我们推导出具有偏移
PDF9 days ago
ICML无偏差 ReLU 网络何时类似于线性网络？
我们研究了无偏差 ReLU 网络的表现力和学习动态。我们首先展示了两层无偏差 ReLU 网络的有限表现力：它们只能表达线性的奇函数。然后我们证明，在数据对称条件下，这些网络具有与线性网络相同的学习动态，从而得到了某些特定两层无偏差 ReLU
PDF16 days ago
从局部到全局：学习 Transformer 的动力学和初始化效果
本文研究了基于变压器的模型在使用马尔科夫输入过程研究的背景下，关于学习马尔科夫链的变压器的学习动态的问题，并通过理论和实证研究提供了初始化变压器参数的准则和其有效性的验证。
PDFa month ago
为了取得更好成绩而付费：学习智能体之间的游戏支付
在重复博弈中，我们研究了采用货币调节等教授动态学习策略的玩家对于行为激励的影响，包括其对学习动态、福利和分配的影响，并提出了一个简单的博弈论模型以解释这些情况。我们的研究表明，在一类广泛的博弈中，通过让学习代理在游戏动态过程中向其他玩家支付
PDFa month ago
数据集学习的二元性与紧急性临界状态
在人工神经网络中，非可训练变量的激活动力学与可训练变量的学习动力学强烈耦合。研究表明通过两种映射的组合建立了非可训练边界变量的子空间（例如数据集）与可训练变量的切向子空间（即学习）之间的对偶映射，可以研究临界性的出现以及可训练变量波动的幂律
PDFa month ago
探索使用实时更新可视化的隐藏激活的演化
监控神经网络训练是识别潜在数据异常、实时干预和节省计算资源的关键。本文介绍了 SentryCam，一个实时可视化工具，用于揭示训练过程中隐藏表示的进展情况。我们的结果表明，与损失和准确率等基本指标相比，这种可视化方法提供了更全面的学习动态视
PDFa month ago
能量模型训练中的相变级联
我们研究了能量驱动的生成模型 Restricted Boltzmann Machine（RBM）中的特征编码过程，通过简化的体系结构和数据结构的分析研究以及对真实数据集的实际训练的数值分析，我们追踪了模型的权重矩阵通过奇异值分解的演化，揭示
PDFa month ago
探索 Softmax 的前沿：可证明的优化、扩散模型应用与更多
通过理论研究两层 softmax 神经网络的优化和泛化性质，揭示了 softmax 函数的归一化效应对所引起的神经核矩阵的扰动性能具有利于构建良好的损失函数曲面凸区域，从而 softmax 神经网络可以在超参数多于样本数量的情况下学习目标函
PDF2 months ago
学习网络的权重动态
使用局部稳定性分析的数学框架，我们研究了前馈神经网络学习动力学的深层理解，推导了三层神经网络在学习回归任务时的切线算子方程，结果适用于任意节点数和任意激活函数的选择。我们通过数值方法应用这些结果于网络学习回归任务中，调查了稳定性指标与最终训
PDF2 months ago
PINNs 中的学习：相变、全扩散和泛化
通过梯度信噪比（SNR）研究全连接神经网络的学习动态，探讨了 Adam 等一阶优化器在非凸目标中的行为，通过信息瓶颈理论中的漂移 / 扩散相，聚焦梯度均匀性，确定了一个被称为 “总扩散” 阶段的第三个阶段，特征为学习速率和梯度均匀，该阶段表
PDF3 months ago
理解与人类反馈一致性的学习动态
通过理论分析学习动态，我们提供了对人类偏好对齐的理论观察，揭示了优化算法可能优先考虑具有更高偏好区分度的行为，并通过实证验证对现代语言模型和对齐任务加深了对未来方法的认识。
PDF3 months ago
训练早期对于超出分布泛化的影响
研究早期神经网络训练对神经网络在分布内任务上的性能有显著影响，但对于神经网络在分布外任务上的泛化性能的影响尚未得到充分研究。本研究使用渐进解冻（即逐渐解冻训练参数）的方法调查学习动态和神经网络训练早期的分布外泛化关系，发现渐进解冻对分布内结
PDF3 months ago
多智能体协作中个体和整体目标的对齐
通过建模为可微分博弈，并引入一种名为利他梯度调整（AgA）的新型优化方法，本研究成功地实现了个体和集体目标之间的对齐，加速了收敛并促进了利他和公平的协作。
PDF4 months ago
梯度噪声的隐含偏差：对称性视角
当存在连续对称性时，我们表征了随机梯度下降法（SGD）的学习动力学，它与梯度下降法之间的差异是显著的。我们将对称性对学习动力学的影响分为两类：其中一类对称性，SGD 自然地收敛于具有平衡和对齐梯度噪声的解；另一类对称性下，SGD 几乎总是发
PDF5 months ago
低秩学习设计：网络架构和激活线性在梯度秩崩溃中的作用
我们在深度神经网络的学习动态方面的理解仍然不完整。最近的研究开始揭示了这些网络的数学原理，包括 “神经坍塌” 现象，在训练的后期，DNN 内的线性分类器会收敛到特定的几何结构。然而，几何约束在学习中的作用并不仅限于这个阶段。本文对 DNN
PDF5 months ago
DySLIM: 动态稳定学习在混沌系统中的不变度量
学习耗散混沌系统的动力学是非常困难的，但该研究提出了一个新的框架，旨在学习不变测度和动力学，相比于传统方法，该框架实现了更好的点对点跟踪和长期统计准确性。
PDF5 months ago
利用正交性训练低秩神经网络
该研究通过分析神经网络在训练过程中的权重的奇异值分解 (SVD) 来探究神经网络的学习动力学。我们的调查发现，每个多维权重的 SVD 表示中存在一个正交基，在训练过程中保持稳定。基于此，我们介绍了一种新的训练方法，即利用神经网络的内在正交性
PDF6 months ago
金融领域可扩展操作的 CNN-DRL
基于 MLP 的 DRL 在金融领域中存在着在行动规模增加时难以学习环境动态的问题，为解决这一问题，我们设计了一个 CNN 代理，在连续 90 天的每日特征向量数据上进行拼接，形成 CNN 输入矩阵。通过大量实验证明，与 MLP 代理相比，
PDF6 months ago
AAAI理解和利用神经网络的学习阶段
通过对参数的演化，我们全面分析了深度神经网络的学习动态，发现存在三个阶段：接近恒定的重建损失、下降和上升。我们还通过经验实证建立了数据模型，并对单层神经网络证明了阶段的存在。我们的工作为迁移学习提供了新的最佳实践：通过实验证明预训练的分类器
PDF7 months ago