gradient projection | BriefGPT

关键词gradient projection

搜索结果 - 7

参数高效连续学习的梯度投影
参数高效梯度投影（PEGP）是第一个在不同调节范例中数学证明提供抗遗忘机制的统一方法，通过将正交梯度投影引入不同的 PET 范例中，从而有效抵制 PET 基础的连续学习中的遗忘现象。
PDFa month ago
GPT 对您的数据价值是多少？使用影响函数的 LLM 规模数据估值
本研究提出了一种高效的梯度投影策略 LoGra，改进了影响函数的可扩展性，进而提出了数据价值评估的理论动机，并通过引入 LogIX 软件包，降低了实施数据价值评估系统的门槛。实验证明，LoGra 在保持竞争准确性的同时，吞吐量提升了 650
PDFa month ago
连续学习的两个互补视角：不仅问什么要优化，还要问怎么优化
连续学习中，我们提出应该同时关注优化目标和优化方式，结合重放逼近联合目标和梯度投影优化方法，以减轻稳定性差距、增加学习效率和改善最终学习结果。
PDF8 months ago
针对神经机器翻译的定向对抗攻击
本文介绍了一种新的对神经机器翻译（NMT）模型的有针对性对抗攻击方法，目的是插入一个预定义的关键词到对抗性翻译中，同时保持源域中原始句子和扰动句子之间的相似性。文章提出了包括对抗损失项和相似性损失项的优化问题，并使用嵌入空间中的梯度投影来获
PDFa year ago
针对基于 Transformer 的文本分类器的块状稀疏对抗攻击
本文提出了一种基于梯度的对抗攻击方法，应用于基于 Transformer 的文本分类器中，实验结果表明，该攻击能够在保留句子语义的同时，对不同数据集上的 GPT-2 分类器准确率进行有效降低，通过对优化问题进行块稀疏约束，实现了对抗向量的小
PDF2 years ago
线性约束非凸优化的乘子近端交替方向法
本文提出了一种新的 proximal ADMM 算法，使用平滑后的原始迭代的序列并在每次迭代时向增广拉格朗日函数中引入一个二次近似项。该算法的迭代收敛到这个问题的一个站点，特别是当目标函数是二次函数时，证明算法的线性收敛性。
PDF6 years ago
稀疏受限非线性优化：最优性条件和算法
本文研究了在稀疏约束下最小化一般连续可微函数的问题，并根据不同的最优性标准提出了三个数值算法：迭代硬阈值法、贪心算法和部分稀疏单纯形法来找到满足最优性标准的点，并分析了这些方法的理论收敛性和与导出的最优性条件的关系。
PDF12 years ago