gradient updates | BriefGPT

关键词gradient updates

搜索结果 - 10

大规模语言模型的高效顺序决策
本论文提出了一种新的方法，利用在线模型选择算法在序列决策中高效地整合 LLM 代理，统计上显著优于传统决策算法和普通 LLM 代理，计算上避免了 LLM 梯度更新的高昂代价，并且在整个决策过程中只需要少量 LLM 调用。
PDF17 days ago
CVPR释放网络潜力以实现语义场景补全
该研究提出了一种新的语义场景补全框架 - 对抗模态调制网络 (AMMNet)，通过优化梯度更新的方法，解决了单模态特征学习效果不佳和过拟合于有限数据集的两个问题，实验证明 AMMNet 在效果和泛化能力上明显优于最先进的语义场景补全方法。
PDF4 months ago
非参数最近邻辅助微调神经机器翻译
研究探究了在微调阶段引入 kNN 预测的统计数据来提高基线翻译模型，发现通过引入 gating 机制，kNN 的真实概率和强化学习三种方法，相比于传统的微调，可以在四个标准机器翻译数据集上实现一致的改进，尤其于翻译语法关系或功能词时表现出更
PDFa year ago
DADAO: 分离的加速去中心化异步优化
DADAO 是第一个分布式异步算法，可通过分别使用独立的泊松点过程模拟本地梯度更新和闲话通信过程进行并行计算和加速通信，而不需要使用内部循环或其他特定机制，例如误差反馈，梯度跟踪或近端算子。
PDF2 years ago
一种参数化的策略优化近似梯度更新类
研究了策略优化的不同方法，利用统一的视角，将其转化为梯度形式和比例函数的更新，在保证高度结构化的同时，得到了一些新的更新算法，可以在合成域和深度强化学习基准测试中得到非平凡的改进。
PDF2 years ago
ICML通过梯度放大在大批量联邦学习中收集用户数据
本文介绍了一种新的策略，能够在批处理任意大小和不需要架构修改的情况下，在交叉设备和交叉硅质联邦学习中提取高保真数据，通过修改发送给用户的模型参数来在现实威胁模型中实现。
PDF2 years ago
通过修改模型直接获得联邦学习中的私人数据
这项研究介绍了一种基于最小但恶意修改的共享模型架构的新威胁模型，使服务器能够直接从梯度更新中获取用户数据的逐字副本，即使是在大批量情况下的用户数据也能被这些略有修改的模型重构。
PDF3 years ago
GAN 的 Top-k 训练方法：通过剔除劣质样本来提高 GAN 性能
本研究针对生成对抗网络提出了一种简单有效的修正算法，即在更新生成器参数时，只对判别器评分最低的数据批次中的元素的梯度做归零处理，该方法被命名为 “top-k update”，实验证明其具有普适性，能显著提高生成器的性能，同时不增加计算成本。
PDF4 years ago
正交梯度下降用于连续学习
该论文通过从参数空间的角度解决神经网络的连续学习问题，提出了正交梯度下降（OGD）方法，并通过限制梯度更新方向来避免遗忘之前学习的数据。该方法可以更有效地利用神经网络的高容量，并不需要存储先前学习的数据。实验证明，所提出的 OGD 方法是有
PDF5 years ago
一种随机强凸优化的最优算法
本研究考虑具有强凸（但不一定平滑）目标函数的随机凸优化问题，我们提出一种仅使用梯度更新的算法，具有最优的收敛速度。
PDF14 years ago