Nov, 2018

二阶相似度规范化弱监督学习的网络

PDF
TL;DR本研究提出了一种利用二阶信息和功率归一化的相似性学习网络，用于解决一种和少量样本学习问题，并在 Omniglot，miniImagenet 和 Open MIC 数据集上获得了最优结果。
second-order statisticspooling schemepower normalizationssimilarity learning networkfew-shot learning
发现论文，激发创造
  • 精细图像、少样本图像和图形分类中的功率归一化

    本文研究深度学习应用中的 Power Normalizations 及其函数 MaxExp 与 Gamma，提供概率解释并寻找训练中合适的替代函数，同时探究 Spectral Power Normalizations 的谱适用性与热扩散过程的关系，最终提出了基于谱的 MaxExp，并在图像和图分类等领域进行了实验验证。

    Dec, 2020

  • 深入探究功率标准化

    本文研究了在深度学习中引入 Power Normalizations（PN）操作作为一种新的 layer，实现对 feature map 的非线性池化，以解决 feature 不平衡问题，通过对 PN 函数的探索和实践，将其与 ResNet-50 模型相结合，应用于细粒度识别等四个 benchmark 中，获得了最先进的性能。

    Jun, 2018

  • 二阶民主聚合

    该研究论文研究了一类无序聚合函数的设计，用于优化二阶特征提取和标准化过程中的贡献均衡，并证明它们能够像一阶聚合函数一样高效地运算，并在许多分类任务中表现出最先进的性能，特别是通过草图计算在较低维度计算二阶特征聚合。

    Aug, 2018

  • 二阶信息对大规模视觉识别有用吗？

    该论文提出了一种基于高级特征的协方差汇集方法，即 Matrix Power Normalized Covariance (MPN-COV)，并在 ImageNet 上的测试中表现出了显著的成果，特别是在 AlexNet，VGG-M 和 VGG-16 的情况下，MPN-COV 方法可以使性能提高超过 3％，并且与 ResNet-152 相媲美。

    Mar, 2017

  • 具有统计动机的二阶汇聚

    介绍一种基于统计分析和高斯分布网络激活的方法，用于实现更紧凑的第二阶池化网络表示，以优于压缩或未压缩第一阶和第二阶模型，在多个基准识别数据集中进行了实验验证。

    Jan, 2018

  • 使用 CNN 的改进双线性池化

    本文研究了归一化二阶卷积特征的几种方式，其中以矩阵平方根归一化和元素平方根加 L2 归一化的方案为最佳，改进后在细粒度识别数据集上性能提高了 2-3%。研究还发现，在边界情况得到合理处理后，用于计算梯度的数值方法与网络的最终准确性关系较小。本文最终提出一种快速实现效果相当的固定迭代次数方法，可用于 GPU 上进行实现。

    Jul, 2017

  • 余弦归一化：在神经网络中使用余弦相似度代替点积

    该研究探讨使用余弦相似度或中心余弦相似度（皮尔逊相关系数）来替代神经网络中点积计算，从而达到较好的正则化效果，实验结果表明，余弦正则化优于其他正则化技术。

    Feb, 2017

  • 二阶卷积神经网络

    本文提出一种新颖的卷积神经网络（CNN）类，它利用二阶统计量，可以形成协方差描述符单元（CDU），可以替代标准 CNN 的全连接层，并在参数少至 90％的情况下优于一阶 CNN。

    Mar, 2017

  • PowerNorm: 在 Transformer 中重新考虑批量归一化

    本文研究了神经网络（NN）和自然语言处理 (NLP) 中的标准归一化方法 —— 层归一化 (LN) 和在计算机视觉中广泛应用的批归一化（BN）之间的区别，分析了使用 BN 进行 NLP 任务时性能下降的原因，提出了一种通过放宽 BN 中的零均值正则化，引入运行时二次平均值稳定批次间波动并在前向传递中引入运行时高斯噪声的新型 Lp 归一化方法 (PN)，比 LN 和 BN 都表现更好。

    Mar, 2020

  • 全局二阶池化卷积网络

    本文针对在深度卷积网络较早的层次有效引入二阶表示进行非线性建模的问题，提出了一种新的网络模型，并利用全局二阶池化 (GSoP) 对低到高层次进行二阶表示引入，使图像信息得到全面利用，实验结果表明，在 ImageNet-1K 数据集上，该网络模型优于同类网络，具有最先进的结果。

    Nov, 2018