本研究探讨了多目标优化策略与深度神经网络结合的有效性，通过案例研究证明了该方法在多种应用程序中生成预测和分析方面具有价值。

May, 2023

本论文将多任务学习作为多目标优化来解决，并提出了一种基于梯度下降优化算法的上限边界，证明了在现实情况下优化这个上限边界将得到帕累托最优解，在多任务深度学习问题上应用我们的方法表现出比最近的多任务学习公式或每项任务训练的模型更高的性能。

Oct, 2018

离散优化问题在深度学习任务中经常出现，尽管神经网络通常操作于连续数据。本文探讨了一种基于分数近似的框架，用于解决依赖于神经网络的目标函数和离散优化变量的问题。通过利用离散变量的嵌入和自动微分框架的计算速度，在对抗性集合分类任务中，我们实验性地证明了我们的方法在速度和解决方案质量方面相比启发式方法具有更好的权衡。

Oct, 2023

本文通过平滑优化技术，提出了一种新颖且轻量级的光滑 Tchebycheff 标量化方法，用于基于梯度的多目标优化问题，具有良好的理论性质，能够以较低的计算复杂度找到符合有效权衡偏好的所有 Pareto 解。实验结果充分证明了我们提出方法的有效性。

Feb, 2024

本文提出了一种利用方差系数确定权重，进而平衡单任务的多个损失函数的方法，并在深度估计和语义分割任务上进行了实验证明了可行性。

Sep, 2020

本文提出一种新的代价敏感损失函数，以解决标签代价权重重新加权训练在过度参数化模型中可能导致的问题，并进行了 ResNet 模型的实验验证。

Jul, 2021

本文提出了一种直接损失最小化的方法来训练深度神经网络，特别适用于应用特定的指标，包括提出了新的动态规划算法来高效计算权重更新，最终在行动分类和目标检测方面表现优秀，特别是在存在标签噪声的情况下。

Nov, 2015

稀疏性、深度神经网络、正则化路径、经验损失和帕累托前沿是研究论文的主要关键词和研究领域。

Aug, 2023

本文提出一种新颖的基于非可微惩罚项的 proximal 梯度方法来去除神经网络不重要的参数组，并针对两种结构性稀疏惩罚进行了权重 proximal 操作符导出，并证明了该方法的收敛性。同时，介绍了该方法在计算机视觉和自然语言处理中的应用。

Feb, 2021

引入了一种新的优化问题形式，与传统的最小化机器学习模型损失的黑盒函数的方式不同。通过明确地纳入最初预训练模型和随机草图运算符，允许在训练过程中对模型和梯度进行稀疏化。本研究提出的目标函数具有深刻的性质，并强调其与标准算法的联系。同时，还介绍了几种适应新问题形式的随机梯度下降（SGD）方法的变种，包括具有一般抽样的 SGD、分布式版本和具有方差减小技术的 SGD。通过这种面向稀疏化的优化方法，实现了更紧凑的收敛速度和放松了假设，填补了理论原则与实际应用之间的差距，涵盖了 Dropout 和稀疏训练等几种重要技术。该研究为通过稀疏化感知的优化方法增强对模型训练的理论理解提供了有希望的机会。

Nov, 2023