learning dynamics | BriefGPT

关键词learning dynamics

搜索结果 - 77

AAAI理解和利用神经网络的学习阶段
通过对参数的演化，我们全面分析了深度神经网络的学习动态，发现存在三个阶段：接近恒定的重建损失、下降和上升。我们还通过经验实证建立了数据模型，并对单层神经网络证明了阶段的存在。我们的工作为迁移学习提供了新的最佳实践：通过实验证明预训练的分类器
PDF7 months ago
从互信息到期望动力学：针对重尾随机梯度下降的新的泛化界限
理解现代机器学习算法的泛化能力作为研究主题在过去几十年中备受关注。最近，随机梯度下降（SGD）的学习动态与重尾动态有关，这已成功应用于利用这些动态的分形属性的泛化理论中。然而，所推导出的界限依赖于超出计算能力的互信息（解耦）项。在本研究中，
PDF7 months ago
通过学习速度感知抽样使自监督学习对于偶发相关性具有鲁棒性
我们研究了自监督学习 (Self-supervised learning) 在存在假相关性 (spurious correlations) 的情况下，说明了尽管存在其他重要的预测特征，通过捕捉与敏感属性相关的引人注目的特征子集，可以最小化自
PDF7 months ago
通过低维度学习动力学高效压缩超参数化深度模型
通过研究过度参数化的深度网络的学习动力学，我们揭示了各种体系结构的权重矩阵展现出低维结构，我们利用这些洞见通过减小中间层的宽度来压缩深度线性网络，实验证明这种压缩技术能够加速训练过程超过两倍，而不牺牲模型质量。
PDF8 months ago
线性 VAE 中的学习动力学：后验崩塌临界点、多余潜变空间陷阱和 KL 退火加速
在这项研究中，对变分自编码器（VAEs）中的后验折叠问题进行了理论分析，发现学习动态会在输入维度趋近无限大时收敛为确定性过程。此外，研究还表明 VAE 最初学习到纠缠表示，并逐渐获得解耦表示。当超参数 β 超过某一阈值时，无论学习周期如何，
PDF8 months ago
EMNLP透明、来源：评估和解释有真实分布访问的语言模型
我们提出了一种使用人工制造的类似语言的数据来训练、评估和解释神经语言模型的设置。使用大规模概率语法（基于状态拆分的 PCFGs）生成数据，该语法源自大型自然语言语料库，但也可完全控制生成过程。通过比较神经语言建模架构和训练目标对可获取困惑度
PDF8 months ago
GAT 是否失衡？
基于图神经网络 (Graph Neural Networks) 的优化和学习动态尚未被广泛探索，本研究通过分析图注意力网络 (Graph Attention Network) 提出的保守定律解释了标准初始化中参数变动困难的现象，并提出了一种
PDF9 months ago
图神经网络的学习方式：从函数空间训练动态中获得的教训
图神经网络的学习动态可以重新构建为一个更熟悉的标签传播框架，因为这个过程中存在图的归纳偏差，从而提供了为什么学习后的图神经网络函数能成功推广以及在异构图上的病态行为的解释。实际上，稀疏化和实施学习动力学导致了一种具有经典算法效率和现代图神经
PDF9 months ago
上下文收敛的 Transformer 模型
通过梯度下降训练的具有 softmax 注意力机制的单层 transformer 在学习线性函数类的上下文学习动态方面取得了进展，并对平衡和不平衡特征数据进行了分析，证明了其收敛性和预测误差。
PDF9 months ago
玻璃景观中的反馈式衰老作为物理系统中的新兴学习
通过训练线性物理网络学习线性变换，我们发现它们的物理特性如何随着权重更新规则的变化而演化。我们的研究结果突出了这些网络的学习行为与无序和玻璃系统中的衰老和记忆形成过程之间的惊人相似性。我们展示了学习动力学类似于一种衰老过程，在输入力的作用下
PDF10 months ago
自监督模型的表示学习动态
自监督学习是从无标签数据中学习表示的重要范例，本文通过研究 SSL 模型的学习动态，特别是通过最小化对比损失和非对比损失获得表示，提出了施加权重正交性约束的 SSL 目标函数，推导出了在 Grassmann 流形上使用梯度下降训练的 SSL
PDF10 months ago
AI4GCC - 第三轨道：消费和多智能体强化学习的挑战
AI4GCC 竞赛在将机器学习与传统经济政策分析相结合方面迈出了大胆的一步。我们提出了两个改进的潜在方向，可以提高竞赛识别和评估提议的谈判协议的能力。首先，我们建议包括一个额外的指标，用于评估消费 / 效用。其次，我们建议进一步调查模拟器中
PDFa year ago
时间差异强化学习动力学
本研究使用统计物理学的理论，研究了具有线性函数逼近器的时间差分学习的典型学习曲线。通过对小型马尔可夫决策过程进行验证，发现随机半梯度噪声导致价值误差的显著平台现象，并分析了如何使用学习率退火和奖励塑形等策略促进学习动态和平台的优化。
PDFa year ago
梯度下降中的简约法则用于学习深度线性网络
研究了深线性网络的学习动态，发现梯度下降的内在偏差与节俭的解决方案有关，特别地，当数据具有低维结构时，只在每个权重矩阵的一个小不变子空间内进行学习，从而提高了效率和理解深度学习。
PDFa year ago
深入研究：利用平坦性提前停止对抗样本的可转移性
该论文研究了对抗样本在不同模型间的可转移性问题，并发现早期停止训练可以提高可转移性，并提出了一种新方法 RFN，通过最小化损失的尖锐度来最大化可转移性。
PDFa year ago
ICLR双重随机模型：无偏标签噪声的学习和推断稳定性
研究了标签噪声（或观测噪声）对于随机梯度下降（SGD）的小型抽样设置具有隐式正则化效果的影响，并对其进行了理论分析与实验验证。
PDFa year ago
通过陷阱区域实现多智能体学习的安全性保障
该研究提出了陷阱区域的概念来解决多智能体学习中的算法收敛性问题，在已知学习动态的系统中使用二分法算法验证，而在不知道学习动态的情况下则使用启发式抽样算法来划分安全集合，从而确保在学习过程中不会形成危险的联合策略组合。
PDFa year ago
正则化神经网络模拟人类洞察力
在探究含有隐藏机会的知觉决策任务中，我们比较了人类，应用梯度下降算法训练的常规神经网络和有调节门控的神经网络的学习动态，发现人类往往通过灵光一现的方式去发现规律，而不是逐渐地发现，神经网络的行为特征实现了人类的洞察力，表现出了洞察力的延迟、
PDFa year ago
人类学习动态建模与影响
本文介绍了一种模拟人类学习为非线性动力学系统的新方法，以监督机器人如何影响人类内部模型的变化，并通过嵌入人类学习动态模型到机器人规划问题中来实现。我们提供了一个折衷方案，以牺牲所能代表的人类内部模型的复杂性为代价，使机器人能够学习这些内部模
PDF2 years ago
ICLR$O (T^{-1})$ 乐观正则化领导者策略在双人零和马尔科夫博弈中的收敛性
证明了在 Markov 博弈中，基于乐观的 Follow-the-Regularized-Leader (OFTRL) 算法的平滑值更新，可在 T 次迭代中找到 $O (T^{-1})$ 的近似 Nash 均衡，该算法的关键改进是通过紧化
PDF2 years ago