- 应用深度学习中的开放问题
本文探讨了如何通过双层优化问题来优化机器学习机制,并讨论了如何通过自动机器学习(AutoML)等方法来减少迭代步骤的计算成本,以及减少开发人工智能算法的碳足迹。作者还提出了在不同领域中解决这些问题的方法。
- 学习采样分布用于模型预测控制
我们通过学习参数分布并在潜在空间中进行控制,提出了一种使用双层优化和正规流参数化分布的模型预测控制方法,旨在克服使用简单似然函数进行采样时出现的性能问题。在模拟机器人任务中,我们证明了该方法比以前的方法具有更好的性能和更少的样本数。
- 通过双层优化推进模型剪枝
本文介绍了一种基于双层优化的模型修剪方法,称为 BiP,它可以像一级优化一样简单地解决大规模深度学习模型的修剪问题,而且在大多数情况下,此方法可以比传统的迭代剪枝(IMP)找到更好的中奖率,并且在同样的模型准确性和稀疏度下可以获得 2-7 - 基于梯度的双层优化在深度学习中的应用
本篇综述论文研究了基于梯度的双层优化方法在深度学习中的应用和发展,通过探讨单任务和多任务优化问题的双层公式和四种优化器的应用,展示其在优化超参数和提取元知识方面的实用性和高效性,最后指出其广阔的科学问题应用前景。
- 隐式路径对齐实现公平的表示学习
通过双层优化和隐式路径对齐算法的应用,研究公平表征学习的角度,保证了最优预测器对于不同子组是不变的,并且证明了所提出的双层目标满足充分性规则,同时在分类和回归设置中得到了经验验证。
- 基于半监督开放集的三维点云理解学习
本研究提出了一种基于样本加权的半监督 3D 点云学习方法,通过双层优化框架估计权重并引入三种正则化技术,提高了模型的稳定性和准确性。实验结果表明该方法在 3D 点云分类和分割任务中具有有效性和可行性。
- CVPR多目标跟踪中的网络流全局目标学习
本文提出了一个可微分的框架,通过解决一个双层优化问题,在学习过程中将训练和推断绑定在一起,以显式学习和正则化全局参数化的代价函数以实现更好的全局 MCF 跟踪目标,从而在 MOT16,MOT17 和 MOT20 等流行的多对象跟踪基准测试中 - 学习合成环境和奖励网络以进行强化学习
这篇论文介绍了一种用于训练 Reinforcement Learning 代理的代理环境模型 ——Synthetic Environments 和 Reward Networks,可以通过双层优化演进 Synthetic Environme - 面部反欺诈的元教师
通过提出一种_META_teacher_fas (MT-FAS) 方法,作者旨在通过元学习的方法更有效地监督 PA 检测器的学习,以获得更好的反欺骗表现。
- 基于梯度的非凸跟随者双层优化及其拓展
本文提出了一种名为 IAPTT-GM 的算法框架,旨在解决具有非凸跟随结构的 Bi-Level Optimization 模型在解决高复杂度实际问题时的有效解决方案和可靠的近似版本建构问题,并通过理论研究证明了该算法的收敛性和运用 LLC - ICCVSingle-DARTS: 实现稳定体系结构搜索
本文提出 Single-DARTS,通过使用单级优化替换双级优化,显著减轻了性能坍塌,提高了体系结构搜索的稳定性,并在主流搜索空间上实现了最先进的性能。
- ICML一种基于价值函数的内点法用于非凸双层优化
本文提出了一种新的基于值函数内点法的双层优化模型求解方法 BVFIM,通过对正则化值函数进行惩罚,进而获得一个连续可微的无约束逼近问题序列,解决了复杂的学习问题,数值实验验证了该方法的高效性和信噪比。
- 使用抗毒数据进行公平聚类
为了解决聚类算法输出不公平的问题,我们提出了一种使用少量辅助数据来实现中心聚类的群体公平性的方法,将其建模为一个通用的双层优化问题,并分类并解决了两种不同问题设置的优化方法。我们的实验表明,与其他最先进的公平聚类算法相比,我们的算法可以在添 - 从统一视角探究双层优化在学习和视觉中的应用:调查与进展
本文介绍了如何使用 Bi-Level Optimization(BLO)来解决计算机视觉和机器学习领域的问题,建立了一个单层重构和统一算法框架,讨论了这个框架的潜力和未来的研究方向。
- ICLR训练数据生成网络:通过双层优化实现形状重建
提出了一种新的三维形状表示方法,用于从单个图像中重建三维形状。通过训练神经网络生成训练集,再利用元学习方法进行双层优化,建立了三维形状分析和少样本学习之间的联系。该方法结合了训练数据生成网络与双层优化算法,可以联合训练,提高了三维形状重建的 - 双层评分匹配用于学习基于能量的潜变量模型
本文提出了一种称为 BiSM 的方法,通过将 Score matching 作为双层优化问题重新定义,引入变分后验概率来优化修改后的 SM 目标函数,并且通过优化变分后验概率来拟合真实后验概率,从而可有效学习具有一般结构的能量基于隐变量的模 - ICML时序学习的时间相关任务调度
本文介绍了一种可学习的调度程序,用于序列学习,可适应地选择辅助任务以提高主任务的性能,通过双层优化联合训练,实验证明该方法显着提高了同时机器翻译和股票趋势预测的性能。
- ICML一种通用的一阶算法框架,用于双层规划,超越了下层单例
提出了 Bi-level Descent Aggregation (BDA) 算法框架,能够解决通用的双层优化问题且不需要 Lower-Level Singleton (LLS) 条件,并进一步改进了传统 LLS 方法的收敛性。实验结果证明 - ICCV基于数据驱动能量最小化方法的参数化主元化
本文提出了一种用于训练参数化能量最小化模型的新策略,该策略结合了能量最小化方法和深度学习技术,并解决了在许多现代数据处理需求方面难以扩展到公共优化算法的双层优化问题。
- 基于端到端学习的轨迹关联跟踪器:多目标跟踪的关联方法
本文提出了一种名为 Tracklet Association Tracker(TAT)的新型多目标跟踪框架,旨在将特征学习和数据关联高效地融合在一起,通过双层优化公式实现,以使关联结果可以直接从特征中学习。同时,为了提高性能,本文采用了流派