- 可编程变分推理的概率编程
我们提出了一种基于组合程序转换的方法，用于支持概率编程语言中的变分推断，该方法能够灵活地处理多个关键问题，包括自动微分、密度累积、跟踪和无偏梯度估计策略。此外，相比于现有的支持变分推断的概率编程语言，我们的设计在用户定义的目标、梯度估计策略 - 通过基于梯度的非侵入式元解法加速传统数值求解器
我们提出了一种非侵入性方法，通过一种新颖的梯度估计技术将机器学习与传统的非自动可微分的数值代码相结合，从而解决了实际应用中难以应用最新研究成果的问题。
- Guided-SPSA: 运用参数偏移规则辅助的同时扰动随机近似优化
我们引入了一种新的梯度估计方法，称为 Guided-SPSA，它有意地结合了参数漂移规则和基于 SPSA 的梯度近似，能够在训练过程中减少所需的电路评估数量 15% 到 25％，并取得与参数漂移规则相比类似或更好的优化结果。Guided-S - SIGIR基于梯度提升树的随机排序学习目标海森矩阵估计
本文介绍了在概率排序模型优化中引入了第一个基于 GBDT 的随机学习排序方法，通过引入 Hessian 矩阵的新估算器，有效地计算一阶和二阶导数，并且实验证明具有估算的 Hessian 矩阵的随机学习排序在性能上与当前最先进的方法相竞争，成 - 基于 Lie 代数对变分量子电路进行高效梯度估计
该研究探讨了混合量子 - 经典优化和学习策略，并提出了一种利用哈密顿在李代数或群论中的代数对称性进行梯度估计的框架，以及使用经典影子重建方法进一步减少测量次数的方法。
- 近似似然比：增强神经网络训练的正向唯一和并行框架
通过利用自然的并行性和高性能训练策略，介绍了似然比方法在神经网络训练中的潜力及其逼近技术在梯度估计中的有效性。
- OptEx：利用近似并行化迭代加速一阶优化
我们提出了一种名为 OptEx 的方法，通过利用并行计算来提高 FOO 的效率，使用核化梯度估计来进行迭代预测，从而实现了迭代的并行化，并证明了核化梯度估计的可靠性和基于 SGD 的 OptEx 的迭代复杂度，同时通过大量实证研究验证了 O - 自适应采样与重要性采样的高效梯度估计
通过提出的自适应方法和重要性采样方法，在机器学习框架中有效地整合了重要性函数，并仅通过输出层的损失梯度提出了一个简化的重要性函数，以实现在分类和回归任务中更好的收敛性和最小的计算开销。
- IJCAI基于梯度先验的决策类黑盒对抗攻击的增强
提出了一种新颖的基于决策的黑盒攻击框架，DBA-GP，通过集成数据相关的梯度先验和时间相关的先验到梯度估计过程中，解决了边缘梯度差异和迭代梯度方向问题，从而提高了查询效率。广泛实验表明，该方法明显优于其他强基准方法。
- ICLR用于无数据模型窃取的双学生网络
通过对称地训练两个学生模型，提供生成器一种生成样本的标准，使两个学生模型对样本有分歧，这个方法可以间接地估计目标模型的梯度，优化生成器网络的训练目标，并提供更准确的目标模型梯度估计和更好的基准分类数据集准确性。此外，在改进查询效率的同时，我 - 贝叶斯实验设计中预期信息增益梯度的估计
为了实现贝叶斯推理的最佳实验条件，本研究提出了两种估计信息增益梯度的方法：UEEG-MCMC 通过马尔科夫链蒙特卡罗生成后验样本来估计信息增益梯度，而 BEEG-AP 通过反复使用参数样本以实现高模拟效率。理论分析和数值研究表明，在实际信息 - 自适应路由的专家软融合
本文提出了 Soft Merging of Experts with Adaptive Routing（SMEAR）算法，通过使用加权平均的单个合并专家，避免了离散路由，同时实现了标准梯度上升训练。 SEMENT 不仅不会增加计算成本，而且 - 使用似然比方法进行神经网络训练：深入探讨无需反向传播的技术
本研究提出了一种新的梯度估计方法 —— 似然比方法，用于从事各种神经网络体系结构的训练，并且相对于反向传播法，该方法能够显著提高神经网络对抗性攻击的鲁棒性。
- 在线进化策略中的噪声重用
本文提出了一种新的在线进化策略 —— 噪声 - 重复利用进化策略（NRES），并在多种应用中进行了实验。结果表明，相对于现有的自动微分和进化策略方法，NRES 在壁钟速度和总展开步数方面的收敛速度更快。
- ICML可微模拟器是否提供更好的策略梯度？
本研究探讨了可微分模拟器在长期规划和物理系统控制等复杂领域中的性能因素，提出了一种 alpha 阶梯度估计器以结合一阶估计的效率和零阶方法的鲁棒性，并在数值示例中证明其优点
- 大型线性层的高效反向传播优化
该研究提出了一种将随机矩阵乘法用于梯度反向传播的方法，并证明该方法可以通过降低所需内存容量，从而更加有效地处理神经网络中的线性层。通过在语义理解任务中对 RoBERTa 模型进行测试，结果表明，该方法即使降低了测试准确度，但仍能实现显著的内 - ICML使用持续演化策略在展开计算图中进行无偏梯度估计
介绍了一种名为 PES 的方法，它使用持续进化策略更新参数，解决了在许多场景下出现的高方差梯度、偏差、慢速更新和大内存使用等问题，该方法将计算图分成一系列截断的展开，并在每个展开后执行一次进化策略更新步骤，通过在整个展开序列中累积修正项来消 - 关于隐式模型的训练
该论文探讨了训练无限层次的隐式模型的方法，提出了一种新的梯度估计方法 —— 幻影梯度，该方法通过对精确梯度的计算进行优化，可以加速模型训练，并提高模型性能。
- AAAIHindsight 网络信用分配：离散随机单元网络中高效的信用分配
本文提出了一种新的梯度估计算法 HNCA，用于离散随机单元网络的信用分配，该方法通过基于其输出影响其子节点的程度来分配信用，证明 HNCA 产生的无偏梯度估计与 REINFORCE 估计器相比具有更小的方差，同时计算成本与反向传播相似。
- 利用几何变换的对黑盒视频分类器的对抗攻击
本文介绍了一种新的迭代算法 Geometric TRAnsformed Perturbations (GEO-TRAP)，使用几何变换来降低有效梯度的搜索空间，从而实现黑盒攻击视频分类模型。该算法在广泛使用的 Jester 数据集上的攻击成