Jun, 2020

通过加权重新训练，在深度生成模型的潜在空间中实现高样本效率的优化

PDF
TL;DR提出了一种利用深度生成模型进行优化的方法，通过周期性地在优化轨迹中重新训练生成模型并根据目标函数值加权来有效地提高样本效率和性能。
optimizationmachine learninggenerative modelsample efficiencyobjective function
发现论文，激发创造
  • 快乐的人 -- 在深度生成模型的离散潜在空间中将图像合成视作黑盒优化问题

    本文提出了一种基于树状集成模型和离散潜在向量自编码器的图像生成方法，能够优化生成样本的可量化特性，推动了数据分布的转移，可在训练数据分布边界得到更好的表现。

    Jun, 2023

  • 学习指导随机搜索

    研究无导数优化高维函数的方法，提出一种基于在线学习的方法，同时学习流形和优化函数，能够显著降低样本复杂性，经过实验证明有效性高于其他无导数优化算法。

    Apr, 2020

  • GAN 的最佳精度

    研究深度生成模型的潜在空间几何结构及优化条件，通过实验提出限制方法，提高生成对抗网络的性能。

    Jul, 2022

  • 通过学习相关潜空间推进贝叶斯优化

    通过引入 Lipschitz 正则化和损失加权等方法，我们提出了一种相关的潜空间贝叶斯优化（CoBO）方法，用于优化黑盒函数中的离散数据。在分子设计和算术表达式拟合等离散数据的多个优化任务中，我们的方法在较小的资源预算下取得了高性能。

    Oct, 2023

  • 通过遍历权重空间的功能不变路径来构建灵活的机器学习系统

    通过构建具有功能等效性的网络的路径连接集合，将神经网络的权重空间视为弯曲的黎曼流形并沿着功能不变路径将网络移动，同时寻找满足次要目标的网络，通过路径抽样算法，能够训练具有数百万权重参数的神经网络来学习一系列分类任务而不会损失性能，同时适应包括网络稀疏化，增量任务学习和增加对抗强度在内的次要目标。

    Apr, 2022

  • 重要性加权生成网络

    该研究介绍了基于重要性加权算法的深度生成网络，该算法可以在无法直接访问目标分布的情况下，估计与目标分布相对的损失函数，并在理论和实践上表现出色。

    Jun, 2018

  • 稀疏高斯过程回归的有效优化

    我们提出了一种高效的优化算法，用于选择训练数据的子集以在高斯过程回归中引入稀疏性。该算法使用单个目标（边际似然或变分自由能）估计引入集合和超参数。其空间和时间复杂度与训练集大小呈线性关系，可以应用于离散或连续域上的大型回归问题。实证评估显示出在离散情况下的最新性能和连续情况下的竞争结果。

    Oct, 2013

  • 使用不可分解目标训练超参数模型

    本文提出一种新的代价敏感损失函数，以解决标签代价权重重新加权训练在过度参数化模型中可能导致的问题，并进行了 ResNet 模型的实验验证。

    Jul, 2021

  • 基于生成神经网络的超高维非凸全局优化

    我们提出了一种非凸优化算法元启发式方法，基于深度生成网络的训练，能在连续、超高维度的空间中实现有效搜索。通过网络训练，利用采样的局部梯度种群在定制的损失函数内，将网络输出分布函数演化朝向高性能最优点的一个峰值。深度网络架构根据训练过程进行渐进增长，使得该算法能够处理高维空间的维度困境。我们将这一概念应用于一系列标准优化问题，维度高达一千，证明我们的方法在较少函数评估下表现更好，超过了现有算法基准。我们还讨论了深度网络超参数化、损失函数设计和适当网络架构选择在优化中的作用，以及采样的局部梯度所需的批量大小与问题维度无关。这些概念为一类利用可自定义和表达性强的深度生成网络来解决非凸优化问题的算法奠定了基础。

    Jul, 2023

  • 一种广义的加权优化方法用于计算学习和反演

    本文研究了回归模型的普适能力，用加权最小二乘优化方法，对有噪声数据的计算学习和反演进行了分析。权重方案编码了关于要学习的对象的先验知识和策略，权重来自先验知识可以提高学习模型的泛化能力。

    Jan, 2022