gradient calculation | BriefGPT

关键词gradient calculation

搜索结果 - 7

AdjointDEIS: 扩散模型的高效梯度
扩散模型的优化和参数的梯度计算是一个复杂而具有挑战性的问题，本文提出了一种基于随机伴随灵敏度方法的新方法，用于计算模型的梯度，并演示了该方法在人脸变形问题上的有效性。
PDFa month ago
多层次汉密尔顿蒙特卡罗
提出了一种新型的两阶段哈密顿蒙特卡罗算法，通过使用一个廉价的可微分代理模型计算接受率，在第二阶段使用高保真度（HF）数值求解器评估后验分布，以高效地逼近后验梯度并产生准确的后验样本，成功地解决了哈密顿蒙特卡罗算法在计算和统计效率方面的限制，
PDF2 months ago
面向内存节省的语言模型自适应的全赢行列抽样
该研究提出了一种基于 WTA-CRS 估计器的模型参数量较少、内存占用较少的 transformers 模型训练优化方法，该方法在保证模型精度的情况下，可以替代传统优化方法实现更快更稳定的训练。
PDFa year ago
针对有限样本的视觉 Transformer 组叠代二值化（GSB）
本文提出了一种新的模型压缩方法，称为 Group Superposition Binarization (GSB)，通过替换复杂张量乘法为简单的位运算，将全精度模型参数和激活表示为仅有 1 位的参数，来解决 Vision Transform
PDFa year ago
EMNLP基于 Transformer 网络的梯度自适应辅助任务选择方法 ——GradTS
本研究介绍了基于 Transformer 的梯度计算的自动辅助任务选择方法 GradTS，在八种自然语言理解任务中将 MT-DNN 的效果从 0.33% 提升到 17.93％，且时间更节约且具有普适性。
PDF3 years ago
基于期望目标的 GO 梯度
提出了一种可以应用于非可重参数化连续或离散随机变量的梯度计算方法（GO 梯度），并且具有与可重参数化方法相同的低方差，同时还开发了一种通过不同分布的传播链规则、将神经网络与常见随机变量相耦合的统计反向传播方法。
PDF5 years ago
具有缩放 Cayley 变换的正交循环神经网络
本文提出了一种使用斜对称矩阵参数化 Cayley 变换来维持正交循环权重矩阵并克服负特征值限制的更新方案，在多个实验中证明了比其他单元 RNN 的表现更优秀，需要的可训练参数更少。
PDF7 years ago