Nov, 2022

TAOTF: 一种在深度神经网络中使用的两阶段近似正交训练框架

PDF
TL;DR本文提出了一种新的两阶段近似正交训练框架（TAOTF），通过在深度神经网络模型中应用软正交约束来解决噪声数据情况下模型的鲁棒性问题，并在自然图像和医学图像数据集上进行评估表明，我们的方法实现了比现有方法更稳定和优越的性能。
deep neural networkorthogonal constraintstraining frameworknoisy dataperformance
发现论文，激发创造
  • 正交卷积神经网络

    通过对卷积内核使用双倍块 Toeplitz 矩阵表示法而不是常见的内核正交化方法，我们开发了一种有效的方法来对卷积层施加过滤器正交性。我们的正交卷积方法不需要额外的参数和计算负载，并在广泛的任务中稳定性、鲁棒性和泛化性方面优于内核正交性替代方案。

    Nov, 2019

  • 训练 DNNs 中的可控正交化

    本文提出了一种使用牛顿迭代法的正交化方法 (ONI)，它可以通过进行迭代来控制权重矩阵的正交性，同时保持模型的表征能力，从而有效地提高图像分类网络和生成对抗网络 (GANs) 的性能。

    Apr, 2020

  • OTOV2：自动化、通用型、用户友好型

    本研究提出了一种自动压缩深度神经网络的方法 (OTOv2)，它通过将可训练变量分配到零不变组合中，并使用新颖的 DHSPG 优化器来自动构建高性能的压缩模型，同时将其应用于各种模型结构的图像分类任务，并在大多数数据集上表现优秀，是一种通用且可自主训练的模型压缩方法。

    Mar, 2023

  • 超越良好初始：探索正交性和调制对训练极深卷积神经网络的更好解决方案

    研究表明，使用正交性标准化的变种正则化方法和基于 “准同构假设” 的反向错误调节机制可以在不使用任何快捷方式 / 身份映射的情况下，训练一种特定结构（重复三模块的 Conv-BNReLU）的极深卷积神经网络（CNN），实验结果表明，这种方法可以在 CIFAR-10 和 ImageNet 数据集上显着提高 44 层和 110 层的网络的性能，并且可以成功地通过新的设计原则和残差结构来设计网络结构以获得相似的 ImageNet 数据集上的表现。

    Mar, 2017

  • 正交微调控制文本到图像的扩散

    本文提出了一种基于正交细调方法（OFT）的文本到图像扩散模型，该方法能够可靠地实现下游任务，包括主题驱动生成和可控生成。

    Jun, 2023

  • RADU: 面向飞行时间 ToF 数据降噪的射线对齐深度更新卷积操作

    本文提出了一种迭代去噪方法，使用 2.5D 数据训练 3D 卷积操作以纠正点沿视角方向的位置，并使用自训练方法在标记数据稀缺的情况下在未标记的真实数据上进行训练，实验表明，该方法能够在多个数据集上胜过 SOTA 方法。

    Nov, 2021

  • 仅需一次训练：一种一次性神经网络训练和剪枝框架

    本研究提出一种新的框架，通过 OPO（只训练一次）将 DNN 网络压缩成性能出色、FLOPs 很小的较瘦的架构， OTO 将两个关键因素组合在一起：（1）将 DNN 网络参数分成零不变组，使我们能够修剪零组而不影响输出；（2）为了促进零组，我们进一步制定了一个结构稀疏最优化问题，并提出了一个新的优化算法 ——HSPG（半空间随机投影梯度），用于解决它。

    Jul, 2021

  • 关于正交性和学习具有长期依赖性的递归网络

    本文探讨了针对深度神经网络和循环神经网络中的梯度消失或梯度爆炸问题，使用正交矩阵作为约束条件以保持梯度范数，并且提出了一种使用矩阵分解和参数化策略的方法以控制反向传播期间所导致的扩张性。通过分析，本文发现硬正交矩阵约束会对收敛速度和模型性能产生负面影响。

    Jan, 2017

  • 正交深度神经网络

    本文提出了正交深度神经网络 (OrthDNNs) 的算法，将其与最近研究的光谱正则化深度学习方法联系起来，证明了神经网络在实践中具有局部等距性和不变性，并提出基于等奇异值的正交权重矩阵的方法和 Bounded Batch Normalization 来提高深度神经网络的泛化性能。

    May, 2019

  • 广义反向传播，案例研究：正交性

    本研究介绍了一种新的 backpropagation 算法，并使用 Riemannian 几何和优化技术在矩阵流形上实现了层与层之间约束权重的深度神经网络，特别是引入了 Stiefel 层，对于无监督的特征学习至细粒度图像分类有很多好处。

    Nov, 2016