- 余弦相似度损失的隐蔽陷阱
我们展示了在两种未被充分探索的情况下，两点之间的余弦相似度的梯度趋近于零：（1）如果一个点的幅度很大，或者（2）如果这两个点位于潜在空间的两端。令人意想不到的是，我们证明，优化点之间的余弦相似度会导致它们的幅度增加。因此，（1）在实践中是不 - 如何猜测梯度
神经网络的梯度具有比以前认为的更多结构，研究中探讨了梯度在可预测的低维子空间中的特点以及如何利用这种结构改进基于方向导数的无梯度优化方案。同时，突出了在最大程度地减小准确梯度计算方法和猜测梯度方法之间的优化性能差距方面所面临的新挑战。
- 全新的角色扮演加速方法：矩阵游戏和平滑函数的最大化最小化
算法设计为在欧几里得或单纯形域内最小化 max (f_i (x))，若每个 f_i 为 1-Lipschitz 和 1 - 光滑函数，我们的方法可以在评价复杂度中找到 ε- 近似解，并具有优化性能。
- 评分模型中的隐藏线性结构及其应用
通过对分数函数的规范分析，我们发现分数模型中存在线性结构，从而能够精确预测初始扩散轨迹并加速图像采样 15-30%，对模型设计和数据预处理具有重要意义。
- 非凸优化中找到稳定点的计算复杂度
非凸优化中寻找近似驻点的计算和查询复杂性是本文的关键研究内容，其中包括在无约束域中寻找近似驻点的问题的 PLS 完备性、二维情况下的零阶算法以及近似驻点的查询复杂性的特征化，同时还研究了约束优化问题中寻找近似 KKT 点的查询复杂性，并指出 - ICCV异构遗忘补偿用于类递增学习
Class-incremental learning can overcome catastrophic forgetting by addressing heterogeneous forgetting through represent - 统计学习的一阶方法与通用预言机的泛化误差
我们提供了一种新的分析框架，用于分析统计学习中基于一阶优化算法的泛化误差，当只能通过一个 oracle 提供的部分观测来获取梯度。我们的分析依赖于梯度相对于数据样本的正则性，并且允许为多个学习问题，包括监督学习、迁移学习、鲁棒学习、分布式学 - 实用的一阶贝叶斯优化算法
本文提出了一种基于高斯过程（GP）和利用梯度信息的多层次收获函数的 FOBO 算法，该算法在机器学习中的应用并验证结果优于现有的方法。
- 基于正态映射的 Prox-SGD 方法在 KL 不等式下的收敛性
本文提出了一种新的基于随机正则映射的算法，用于非凸复合型优化问题，并讨论了其全局收敛效果及其叠加点所对应的稳态点的期望特性。
- ICLRISAAC Newton：基于输入的牛顿法近似曲率
我们提出了 ISAAC（基于输入的近似曲率），一种使用选择的二阶信息来调节梯度的新方法，其计算开销渐近消失，假设批量小于神经元数量。我们表明，可以基于相应层的输入计算出一个良好的调节器，而不会有大量的计算开销。该方法允许在小批随机模式下进行 - 用于高效神经网络训练的可证明数据子集选择
本文提出了构建 RBFNN 核心集的第一个算法，利用这些核心集以及梯度的逼近，可以提高深度神经网络训练的效率和准确性。
- 基因向量编程 - 优化特征提取的分段
本研究提出了一种基于 GP 的优化算法，通过向量聚合和梯度信息等策略，优化窗口聚合函数的性能，研究结果表明，虽然现有策略的效果有限，但仍有发现更有效算法的潜力。
- 生成式人工智能的发展路径：方法与考虑
提出了一个六级访问框架，从全闭合到全开放，各级之间可以被视为梯度选项，阐述了全球发电 AI 系统的释放方法、趋势和风险控制等问题。
- Score Jacobian Chaining：将预训练的 2D 扩散模型提升至 3D 生成
本文提出一种基于扩散模型的新方法，利用可微分渲染器的雅各比矩阵，将二维数据转化为三维数据生成，解决了分布不匹配的技术挑战，并将该算法应用于多个离线扩散图像生成模型。
- 利用渐进领域自适应的最优传输进行课程强化学习
该研究将课程机器学习作为优化输运问题来量化和生成任务分布之间的移动，并提出了一种称为 GRADIENT 的算法来处理连续和离散背景下的非参数分布。 实验结果表明，该算法在学习效率和渐进性能方面均优于基线。
- 在线多智能体去中心化拜占庭容错梯度估计
本文提出分布式迭代方案，用于对与黑箱模型相关的梯度进行拜占庭容错评估，基于同时扰动、安全状态评估和双时间尺度随机逼近，同时通过数值实验展示了算法性能。
- AdAUC: 针对长尾问题的端到端对抗 AUC 优化
本文研究了在长尾数据集上进行对抗训练的问题，提出了一种基于 AUC 优化的方法，并通过正则化和梯度计算解决了目标函数中正负样本紧密耦合的问题。实验结果表明该方法在长尾数据集上表现出色。
- 基于显著性引导训练的深度学习解释性改进
本文介绍了一种基于显著性引导培训的神经网络方法，可以有效降低噪声导致的特征归因不准确，并通过实验表明这种方法能够在保持预测性能的同时提高模型可解释性。
- 分布式训练中标签的揭示与保护
本文提出了一种从模型最后一层的梯度和 id 映射中发现训练样本标签的方法，该方法适用于多个领域的各种模型架构，并在图像分类和自动语音识别两个领域的模型训练中展示了其有效性，同时还发现梯度量化和稀疏化可以显著降低攻击的成功率。
- 带有生成式图像 prior 的梯度反演
通过利用预先训练的生成模型，本文探究了在缺乏先前知识的情况下可以从 Federated Learning 训练过程中看到的一系列梯度中学习先验知识的可能性。实验证明这种先验知识可以被轻易违反隐私，从而强烈建议在 FL 中需要采用额外的机制来