convergence behavior | BriefGPT

关键词convergence behavior

搜索结果 - 15

政策梯度方法的基本分析
在本文中，我们对以往的优化方法进行系统研究，讨论了削影策略梯度、softmax 策略梯度、自然策略梯度等算法的全局和局部收敛性，提出了新的结果和分析技术。
PDF3 months ago
BAdam: 大型语言模型的内存高效全参数训练方法
该研究提出了 BAdam，一种利用 Adam 作为内部求解器的块坐标优化框架的优化器。BAdam 提供了一种内存高效的方法，用于对大型语言模型进行完全参数微调，通过链式规则属性减少了后向过程的运行时间。实验结果表明，BAdam 在比较 Lo
PDF3 months ago
边缘学习中资源管理的重新思考：一种联合预训练和微调的设计范式
在边缘学习系统中，本文研究了双阶段学习中的联合通信和计算资源管理问题，分析了系统参数对收敛速率的影响，并提出了一个联合资源管理设计来优化系统性能。该设计充分利用了预训练和微调之间的固有权衡，有效地优化整体系统性能。
PDF3 months ago
基于去噪任务难度的浸润模型训练的课程学习
通过对任务困难度、收敛行为和概率分布间相对熵的变化进行综合观察，我们发现较早的时间步骤的去噪任务存在收敛缓慢和相对熵高的挑战，因此我们提出了一个易难混合的学习方案，借鉴了课程学习的思想，在训练过程中将时间步骤或噪声水平划分为难度递减的簇，并
PDF4 months ago
连续时间控制中积分增强学习的计算影响
积分强化学习中的计算方法选择（如求积法则）对控制性能产生显著影响，并通过与哈密顿 - 雅可比 - 贝尔曼方程的牛顿法相比较，揭示了计算误差在策略迭代中的额外误差项，并且在使用再生核希尔伯特空间中的效用函数时，通过贝叶斯求积法与诱导核函数结合
PDF4 months ago
分层联邦学习中的差分隐私：形式化分析与评估
在该研究中，我们提出了差分私有分层联邦学习（DP-HFL），这是一种增强了隐私 - 效用权衡的联邦学习方法。通过在已建立的联邦学习层次结构的不同层级（边缘设备、边缘服务器和云服务器）上根据特定子网络的信任模型进行差分隐私噪声注入，我们对 D
PDF6 months ago
一种用于实现更快收敛和更陡下降的自动学习率调度算法
通过研究我们发现 delta-bar-delta 算法在神经网络优化过程中存在收敛问题，并提出了一种新方法 RDBD（可悔的 delta-bar-delta）来解决这些问题，并验证了其在小批量优化中克服收敛问题并提高优化算法收敛速度的有效性
PDF9 months ago
CausalLM 不适用于上下文学习
本文以理论方法分析了前缀语言模型（prefixLM）和因果语言模型（causalLM）在一定参数构建下的收敛行为，理论和实证结果表明，前缀语言模型（prefixLM）在线性回归问题中收敛至最优解，而因果语言模型（causalLM）的收敛动态
PDFa year ago
TD 收敛性：一个优化视角
本研究探讨了时间差分（TD）学习算法的收敛行为，通过分析我们的发现，我们将其形式化应用于线性 TD 设置中的二次损失，以证明 TD 的收敛取决于两种力量的相互作用，并扩展到比线性逼近和平方损失更广泛的设置中，提供了 TD 在强化学习中成功应
PDFa year ago
ICLR反向传播算法的逐张量定点量化
通过精度分配方法，实现神经网络中所有参数的最小化，从而实现固定点训练。针对 CIFAR-10，CIFAR-100 和 SVHN 数据集，对四个网络进行实验验证，证实此方法具有接近最优的精度分配，可以与其他固定点神经网络设计相比较。（The
PDF6 years ago
NIPS基于 Quadrature 的特征用于核逼近
通过基于 Monte Carlo 近似的、通过积分表示核函数并扩展到更好的核近似估计的数值积分技术，我们提出了一个统一的方法来改进核逼近的随机特征方法，并得出了其收敛行为，并进行了大量实证研究，支持了我们的假设。
PDF6 years ago
AAAIEpanechnikov 均值漂移的收敛性
本论文分析了 Epanechnikov Mean Shift 算法的收敛行为，提出了一种修正方案使其保证在有限次迭代内在估计密度的局部最大值处结束，而无需从每个数据点开始进行迭代，具有很好的聚类准确性。
PDF7 years ago
CVPRHigher-Order Markov 随机场推断的 Newton 型方法
本文研究了使用 Newton 型方法求解 Lagrangian dual 问题的优越性，显示了可应用于广泛范围的 map 推理问题的收敛性，给出了一个高效且收敛的框架来优化高阶 Markov 随机场。
PDF7 years ago
深度学习算法概览
这篇论文通过理论分析神经网络的收敛行为、稳定点及特性研究其经验风险的实证风险的景观，证明线性神经网络的实证风险在训练样本量为 n、总权重维数为 d、每层权重的度量边界为 r 时，具有一致收敛到其总体风险的速率。深度非线性神经网络的实证风险的
PDF7 years ago
用于最小化复合函数的近端牛顿型方法
该研究广义化了牛顿型方法以处理光滑函数的最小化，特别是一个包含简单近端映射的凸函数和一个非光滑函数的总和，在此基础上提出了近端牛顿型方法。研究表明，该方法即使在计算搜索方向不精确时，也能继承用于最小化光滑函数的牛顿型方法的理想收敛性质。该方
PDF12 years ago