- 大规模双层优化的内存高效梯度展开
本文介绍了 $(ext {FG})^2 ext {U}$，一种解决大规模双层优化问题的新方法，该方法通过无偏随机近似元梯度来提供更准确的梯度估计，并且支持并行计算以提高计算效率。$(ext {FG})^2 ext {U}$ 在不同阶段的训练 - 基于双层优化的多导师蒸馏的噪声节点分类
该论文提出了一种基于双层优化的新型多教师蒸馏方法（即 BO-NNC），用于在图数据上进行有噪声节点分类。通过多个自监督学习方法训练多个教师模型，并通过教师权重矩阵对其预测进行集成；同时设计了一种新的双层优化策略来根据学生模型的训练进程动态调 - 元学习引导的微表情识别
提出了一种名为 LightmanNet 的双分支元辅助学习方法，用于快速和鲁棒的微表情识别，通过双分支双层优化过程，从有限数据中学习一般的微表情识别知识，进一步改进了模型的泛化和效率。
- BiLoRA：一个双层优化框架用于大型预训练模型的过拟合抗性低秩适应
基于双层优化的 BiLoRA 方法在降低过拟合风险的同时，显著优于 LoRA 和其他微调方法，并具有相似数量的可训练参数。
- ACL预训练语言模型在低资源文本上的泛化和稳定调优
基于注意力引导的权重混合和双层优化框架，我们提出了一种用于预训练语言模型的微调方法，以解决在低资源数据集上微调模型时的不稳定性和过拟合问题，在广泛的实验中验证了该方法的有效性和优越性。
- 多目标多解输送
通过寻求多个多目标优化问题的互补子集解决方案的权衡，我们引入了一种称为 MosT 的多目标多解传输框架，其通过在每个解决方案中对加权目标进行双层优化，并使用目标和解决方案之间的最优传输来定义权重，确保收敛到 Pareto 稳态解决方案。在联 - 一种基于双层优化的安全筛选规则和 ν 支持向量机
提出了一个安全的筛选规则和双层优化方法用于处理大规模问题，其中使用支持向量机（Support Vector Machine，SVM）的扩展方法 nu-SVM，以及通过高效的双坐标下降优化算法提高计算速度。在人工数据集和基准数据集上的实验结果 - FORML：一种具有正交约束的元学习的黎曼海森自由方法
介绍了一种在 Riemann 流形上使用 Stiefel 近似的 Hessian-free 方法，通过使用 Stiefel 全连接层来增强基于梯度的元学习方法的表示重用，实验结果表明该方法在各种少样本学习数据集上优于现有方法，尤其是欧几里得 - BLO-SAM: 基于双层优化的防过拟合 SAM 微调
通过基于双层优化的 BLO-SAM 方法，无需手动提示即可实现自动图像分割，解决了在特定对象分割和医学成像等任务中 Segment Anything Model （SAM）所遇到的困难，进一步提升了图像语义分割的性能。
- 基于图稀疏化的高能效分散式学习
通过优化混合矩阵，改进分散式学习的能源效率，该研究将问题建模为双层优化，其中底层通过图稀疏化求解，针对全连接基底拓扑提出了一种拥有保证性能的解决方案，针对一般情况提出了一种贪心启发式方法，并通过基于真实拓扑和数据集的模拟验证，结果表明该方案 - 基于物理信息的不确定性量化的 PICProp 算法
该论文介绍和研究了作为一个新问题的确定性偏微分方程的置信区间（CI）估计，即通过概率保证从数据位置向整个域传播置信度。我们提出了一种基于双层优化的方法，称为物理信息置信传播（PICProp），用于计算一个有效的置信区间而不进行重大假设。我们 - 通过在 NeRF 中进行空间变形，保护隐私信息
本研究通过一个创新的攻击方法，引入了一个保护用户隐私免受神经辐射场（NeRF）模型生成能力影响的方法。我们的方法通过对被观察视图进行几乎不可察觉的改动，从而扰乱了 NeRF 对 3D 场景的准确重构能力。我们使用一个双层优化算法，结合了基于 - 双层优化简介：在信号处理和机器学习中的基础与应用
近期，双层优化（BLO）在信号处理和机器学习领域中取得了重要进展，本文提供了这一类可计算双层优化问题的基本概念、标准算法及其在信号处理和机器学习等领域应用中的最新进展，并指出了当前研究的一些局限性和需要未来深入探索的方向。
- 使文本无法学习：利用有效模式保护个人数据
本文主要探讨深度学习中非授权公共数据使用所带来的伦理问题，并以扩展黄等人（2021）工作为基础，使用梯度搜索技术生成无法学习的文本，从而提出了一种新颖的解决方案。
- BiSLS/SPS: 稳定双层优化自动调整步长
研究了使用自适应步长方法（随机线性搜索和随机 Polyak 步长）来计算上下级学习率的 BO 算法，并发现这些方法可以在不需要精细调节的情况下找到较大的学习率，比起需要精细调节的 SGD 或 Adam BO 算法快速收敛。
- ICLR用于端到端对齐路径学习的深度声明动态时间规整
本文提出了一种基于双层优化和深度声明网络的 DTW 层，可以将 DTW 表示为连续的优化问题，并计算出最优的对齐路径，可用于自动化的时间序列数据对齐。
- 零和马尔可夫游戏中的可微分仲裁
本文研究如何扰动由两个玩家组成的零和马尔可夫博弈的奖励来诱导期望的纳什均衡。提出了一种反向传播方案，用于在给定奖励函数下求解纳什均衡，并通过黑盒求解器展示了框架的收敛性和在两种多智能体强化学习环境中的成功应用。
- 通过展示理解专业技能：一种离线逆向强化学习的最大似然框架
研究了离线逆向强化学习的问题，提出了一种基于双层优化的估计任务公式与新的算法框架来解决这个问题，并在 MuJoCo 中的连续控制任务以及 D4RL 基准测试中的不同数据集上，展示了算法胜过现有最先进的离线 IRL 和模仿学习基准测试大量的结 - AAAI元重置中的关键样本选择学习
本研究提出了一种学习框架，将元样本选择问题通过严格的理论分析降低到加权 K 均值聚类问题中，提出了两种聚类方法 RBC 和 GBC 以解决 “样本权重不均匀” 问题，并在实际应用中得到了验证。
- 双层优化与 Stackelberg 博弈的一阶收敛方法
本研究提出了一种使用一阶信息解决一类双层优化问题的算法，该算法不需要使用二级目标的梯度的标准估计器或内部问题的近似解算器，而是交替使用幼稚的优化方法降低内部问题和使用特殊构建的梯度估计器降低上层目标函数，我们提供了双层目标的到达平稳点的非渐