ECCVJul, 2020

重构和插值的代理损失的统一框架

PDF
TL;DRUniLoss 是一个用于训练深度网络的统一框架，它可以自动生成代理损失，减少针对各种任务设计代理损失的人工程作。通过内插，UniLoss 可以为不可微分步骤生成可微分的近似值。使用 UniLoss，我们可以使用一个统一的框架优化不同的任务和指标，比使用特定于任务的损失达到相当的性能。在三个任务和四个数据集上验证了 UniLoss 的有效性。
unilosssurrogate lossesdeep networksdifferentiable approximationsperformance metrics
发现论文，激发创造
  • 学习代理损失

    本文提出了一种针对非可微和非可分解损失函数的优化方法，使用代理神经网络逐渐逼近真实损失函数，并通过联合双层优化学习预测模型和代理损失函数，实现了高效学习代理损失函数的效果。

    May, 2019

  • 关系代理损失学习

    本文旨在解决机器学习中的评估指标通常难以作为损失函数的问题，通过重新审视代理损失学习，并提出了一种基于排名相关性优化的方法来最大化代理损失和度量之间的关系进行代理损失学习。实验证明，该方法在图像分类、神经机器翻译等各种任务上都获得了显着的效率和性能提升，并在人体姿态估计和机器阅读理解任务上优于现有方法。

    Feb, 2022

  • 序列预测任务损失估计

    本文提出了一种新的方法来推导可微的替代损失函数，以用于训练包含每个输入 - 输出对的得分的模型，并在语音识别任务中证明了其有效性。

    Nov, 2015

  • 零梯度从不给予：学习非可导图形的局部代理损失

    使用神经逼近的替代函数来解决具有未定义或零梯度问题的图形优化，适用于渲染、程序建模和物理驱动动画中的非凸、非可微黑盒问题。

    Aug, 2023

  • 深度度量学习的代理锚定损失

    该研究提出了一种新的代理损失方法，它结合了基于对和代理的方法的优点并克服了它们的局限性，同时具有更快的收敛速度和对嘈杂标签和离群值的鲁棒性，能充分利用数据之间的关系，其中该方法在四个公共基准测试中表现出最先进的性能和最快的收敛速度。

    Mar, 2020

  • Auto Seg-Loss: 为语义分割寻找度量代理

    本文主要介绍了在深度网络训练中设计适当的损失函数的重要性，特别是在语义分割领域，介绍了自动设计指标特定损失函数的方法，并介绍了代替度量中不可微分操作的可参数化函数以及在参数搜索中使用的两个约束。实验表明，所搜索的替代损失函数在其他数据集和网络上也具有良好的泛化能力，与手动设计的损失函数相比性能更好。

    Oct, 2020

  • AutoLoss-Zero：从零开始搜索通用任务的损失函数

    本文提出 AutoLoss-Zero，旨在从头开始搜索通用任务的损失函数。该算法使用基本的数学运算符组成一个初步的搜索空间，并使用变异算法在该搜索空间中发现损失函数。利用该算法，我们在计算机视觉任务上获得了比现有损失函数更好的结果。

    Mar, 2021

  • 通过统一的梯度框架探索孪生自监督学习的等效性

    该研究提出了一种将自监督学习的不同方法统一在同一框架下进行比较的方法，并通过 UniGrad 提出了一种简单有效的自监督学习的梯度形式，其在线性评估和下游任务中表现出了卓越的效果。

    Dec, 2021

  • 通过深度嵌入学习替代模型

    本文提出了一种通过最小化近似目标评估指标的替代损失来训练神经网络的技术，其中代理通过深度嵌入来学习，有效性在场景文本识别和检测任务中得到了证明。

    Jul, 2020

  • 非分解损失函数的在线和随机梯度方法

    本文提出了一种针对非可分离损失函数的在线学习框架，通过引入新型算法设计和分析，该模型具有高效的在线学习算法，具有亚线性遗憾和在线转换界限；进一步开发了可扩展的随机梯度下降求解器，经过实验在真实数据集上证明，该方法比近期提出的切割面算法快得多。

    Oct, 2014