ICCVMay, 2015

深度回归的稳健优化

PDF
TL;DR本文研究了 Convolutional Neural Networks 的回归模型，使用了 Tukey 的 biweight 函数作为损失函数，同时提出采用逐渐提高分辨率的输入图像的粗粒度模型，经过实验表明在人体姿势估计和面部年龄评估任务中，这种方法产生了更好的效果。
convolutional neural networksregression-based methodsoutlierstukey's biweight functioncoarse-to-fine model
发现论文，激发创造
  • 卷积神经网络实现高效的物体定位

    通过深度卷积网络及位置细化模型使人体姿态的关节定位精度得到提升

    Nov, 2014

  • 卷积神经网络下应用的稳健人脸关键点定位翼损失

    本文提出了一种新的损失函数 Wing loss，用于通过卷积神经网络实现面部关键点的鲁棒定位。通过对比 L2、L1 和平滑 L1 等不同的损失函数，并分析这些损失函数，结论是对于基于 CNN 的定位模型训练，应更加关注小和中等范围的错误。针对此问题，提出了一种分段损失函数 Wing loss，并通过姿态数据平衡的策略解决了训练集中具有大偏转的数据不足的问题。最后，将该方法扩展为一种用于鲁棒面部关键点定位的两阶段框架，并在 AFLW 和 300W 上进行了实验验证，结果表明 Wing loss 的优越性以及该方法的超越了现有技术的水平。

    Nov, 2017

  • 使用深度学习进行相机姿态回归的几何损失函数

    论文探讨了使用几何学和场景重投影误差等新颖的损失函数进行深度学习相机位姿回归的方法，同时展示了该技术在不同数据集上比 SIFT 算法更好的性能。

    Apr, 2017

  • 神经重建背后的凸正则化

    本文提出了一种凸二元框架用于优化神经网络，从而解决了其在敏感应用如医学成像中的非凸和不透明性质的问题。该凸对偶网络不仅能够通过凸优化器获得最优训练，还有利于训练和预测的解释，特别是通过权重衰减正则化训练神经网络，诱导路径稀疏性的同时，预测是分段线性滤波。实验结果表明，该凸对偶网络优化问题在 MNIST 和 fastMRI 数据集上有效。

    Dec, 2020

  • 利用紧线性逼近证明卷积神经网络的鲁棒性

    本文提出了一种紧线性逼近方法 (Ti-Lin) 来验证卷积神经网络的稳健性，使用 MNIST，CIFAR-10 和 Tiny ImageNet 数据集对 Ti-Lin 进行评估，结果表明 Ti-Lin 明显优于其他五种最先进的方法，对纯 CNN 具有 Sigmoid/Tanh/Arctan 函数和具有 Maxpooling 功能的 CNN 的稳健性边界水平提高了最多 63.70％和 253.54％。

    Nov, 2022

  • 卷积归一化：提高深度卷积网络的鲁棒性和训练效果

    介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

    Mar, 2021

  • DeepGUM: 高斯 - 均匀混合模型下深度强鲁棒回归学习

    本文提出了一种名为 DeepGUM 的深度回归模型，通过使用混合高斯均匀模型，它可以在训练过程中自动适应不断变化的离群点分布，从而避免使用手动阈值对训练集中的离群点进行清理。 在进行了大量实验的基础上，我们得出结论，该新的鲁棒技术可以提供可靠性，并在各种噪声类型和高比例的离群点中提供保护。

    Aug, 2018

  • 正则化方法的稳健性和不确定性的实证评估

    本文通过对 CIFAR-100 和 ImageNet 上使用现有正则化方法进行的实证评估，指出某些正则化方法可以作为保证深度神经网络（DNN）鲁棒性和不确定性评估的强有力基线方法。

    Mar, 2020

  • 深度回归综合分析

    该研究对深度回归技术进行了系统评估和统计分析，基于四个视觉问题的实验，结果表明使用经典的深度学习网络结构（例如 VGG-16 或 ResNet-50），并在数据预处理上进行适当的调整可以获得接近最先进水平的结果，同时相比于网络结构的改变，数据预处理的差异对结果的影响更大。

    Mar, 2018

  • 使用卷积神经网络进行功能数据学习

    使用卷积神经网络（CNN）对嘈杂和非嘈杂的函数数据进行回归和分类学习问题，通过将函数数据转换为 28 乘以 28 的图像，采用特定的卷积神经网络架构进行参数估计和函数形式分类的回归案例研究，应用于混沌数据的李雅普诺夫指数估计、疾病传播率估计、药物溶解剖面的相似性检测以及帕金森病患者检测等问题，该方法简单但准确率高，有广泛的工程和医学应用前景。

    Oct, 2023