convergence speed | BriefGPT

关键词convergence speed

搜索结果 - 56

AdaZeta：自适应零阶张量列适应方法用于内存高效的大规模语言模型微调
通过提出 Adaptive Zeroth-order Tensor-Train Adaption (AdaZeta) 框架，本文致力于改进 ZO 方法的性能和收敛性，主要关注的问题包括维度相关的 ZO 估计准确性、大规模 ZO 微调任务中的
PDF8 days ago
MoE Jetpack：从密集检查点到自适应的专家混合用于视觉任务
我们介绍了 MoE Jetpack，这是一种将密集检查点优化为 MoE 模型的有效方法。MoE Jetpack 包括两个关键技术：(1) 检查点回收，将密集检查点重新用于 MoE 模型的初始权重，以加速收敛、提高准确性并减轻预训练的计算负担
PDFa month ago
基于联邦动态平均的高效通信分布式深度学习
由于数据的不断增长和去中心化特性，以及现代模型的不断增大，分布式深度学习 (Distributed Deep Learning, DDL) 已成为首选的训练范式。本文提出了一种名为联邦动态平均 (Federated Dynamic Aver
PDFa month ago
FedHPL：高效异构联邦学习中的提示调整和逻辑蒸馏
基于 Prompt 调优和 Logit 蒸馏的参数高效统一的异构联邦学习框架 FedHPL 能够有效应对异构挑战，改善模型性能和加速训练，在多种数据集和模型设置下，性能优于当前最先进的联邦学习方法。
PDFa month ago
核学习 FBSDE 滤波器的收敛性分析
通过对《Kernel learning forward backward SDE filter》论文进行严格分析得出，该算法在解决非线性滤波问题时表现出更高的收敛速度和高维问题求解效率。
PDFa month ago
FedCAda：面向加速和稳定的联邦学习的自适应客户端优化
FedCAda 是一种创新的联邦客户自适应算法，利用 Adam 算法在客户端调整一阶矩估计 $m$ 和二阶矩估计 $v$ 的修正过程，并在服务器端聚合自适应算法参数，以加快收敛速度和通信效率，同时确保稳定性和性能，该算法在计算机视觉（CV）
PDFa month ago
一种用于联邦学习的逐元素权重聚合方法
该研究介绍了一种基于元素权重聚合的联邦学习方法（EWWA-FL），旨在优化学习性能和加速收敛速度。通过将本地权重聚合到全局模型的个别元素级别，该方法允许每个参与的客户端对学习过程进行元素级贡献，从而提高了全局模型对不同数据集的鲁棒性以及实现
PDF2 months ago
低成本注重隐私的分散式学习
介绍了 ZIP-DL 这一创新的隐私保护分散式学习算法，通过在模型训练过程中添加相关噪声的方法来确保噪声在聚合过程中几乎自动中和，最小化对模型准确性的影响；ZIP-DL 不需要多次通信来进行噪声抵消，解决了隐私保护和通信开销之间的常见权衡问
PDF4 months ago
通过深度展开加速 Stein 变分梯度下降的收敛
本文中提出了一种深度展开的可训练 SVGD 算法，用于加速其收敛速度，并通过数值模拟实验证明了该算法相较于传统的 SVGD 变体具有更快的收敛速度。
PDF4 months ago
基于深度展开的马尔可夫链蒙特卡洛梯度下降的收敛加速
该研究提出了一种可训练的基于采样的求解器用于组合优化问题，使用一种称为深展开的深度学习技术。该求解器基于 Ohzeki 方法，结合了马尔可夫链蒙特卡洛（MCMC）和梯度下降，并通过最小化损失函数来训练其步长。在训练过程中，我们提出了一种基于
PDF4 months ago
交叉熵 vs. 标签平滑：神经崩溃视角
通过神经崩溃的视角研究标签平滑损失，发现标签平滑能够加快模型收敛速度，增强模型崩溃水平，提供了模型校准和性能优势的有价值见解，同时通过理论和实证相结合的方法，深化了对标签平滑和交叉熵损失之间差异的理解，并展示了神经崩溃框架在深度神经网络研究
PDF5 months ago
移动性加速学习：车联网中分层联邦学习的收敛分析
本文主要研究了在高度移动设备上的分层联邦学习（HFL），证明了 HFL 在边缘级异构数据中移动性能够提高收敛速度以及模型准确性的优势。
PDF6 months ago
一种可以利用先验信息加速收敛的 Robbins--Monro 序列
提出一种利用先验信息改善 Robbins-Monro 算法收敛速度的新方法，不需要使用潜在错误的回归模型，且适用于各种先验分布，尤其在测量函数次数有限和观测到的噪声较大的应用中，该先验信息 Robbins-Monro 序列比标准序列收敛更快
PDF6 months ago
通过软挖掘加速神经场训练
我们通过有效选择采样位置的方法来加速神经场训练，通过软采样技术基于重要性采样来改进收敛速度和训练质量，我们使用 Langevin Monte-Carlo 采样来实现这个想法，以实现更高收敛速度，研究代码和相关资源可以在该 https URL
PDF7 months ago
DPSUR: 通过选择性更新和发布加速差分隐私随机梯度下降
DPSUR 是基于选择性更新和发布的差分隐私训练框架，通过评估每次迭代的梯度并只使用导致收敛的更新，实现了比 DPSGD 更快的收敛速度，实验结果表明 DPSUR 在收敛速度和模型效用方面明显优于之前的研究成果。
PDF7 months ago
L-WaveBlock：基于小波的新型特征提取器用于生成对抗网络
通过引入 L-WaveBlock，这篇论文以生成对抗网络 (GANs) 为基础，结合离散小波变换 (DWT) 和深度学习方法，提出了一种新颖且强大的特征提取器，能够加快 GAN 生成器的收敛速度并增强性能，展示了其在三个数据集上的出色效果，
PDF8 months ago
IJCAI基于梯度先验的决策类黑盒对抗攻击的增强
提出了一种新颖的基于决策的黑盒攻击框架，DBA-GP，通过集成数据相关的梯度先验和时间相关的先验到梯度估计过程中，解决了边缘梯度差异和迭代梯度方向问题，从而提高了查询效率。广泛实验表明，该方法明显优于其他强基准方法。
PDF8 months ago
ICCVBID-NeRF：基于逆向神经辐射场的 RGB-D 图像姿态估计
我们旨在改进反转神经辐射场（iNeRF）算法，将图像姿态估计问题定义为基于 NeRF 的迭代线性优化。通过扩展具有基于深度的损失函数的本地化优化目标，引入基于多图像的损失函数，省略层次化采样以提高收敛速度并扩展收敛基。
PDF9 months ago
全卷积生成机器学习方法用于加速非平衡 Green 函数模拟
该研究介绍了一种结合机器学习和设备建模仿真的新方法，采用了量子力学的非平衡格林函数（NEGF）方法进行设备仿真，同时利用卷积生成网络扩展了机器学习方法。实验结果表明 ML-NEGF 方法相较于标准的 NEGF 方法具有更快的收敛速度，通过有
PDF10 months ago
纯蒙特卡罗反事实遗憾最小化
基于 Counterfactual Regret Minimization（CFR）方法，该研究提出了一种名为 Pure CFR（PCFR）的新算法，扩展了 CFR 并结合了 Fictitious Play（FP）的概念，通过使用最佳响应策
PDF10 months ago