基于自编码器的残差深度神经网络用于鲁棒回归预测和时空估计

Dec, 2018

基于自编码器的残差深度神经网络用于鲁棒回归预测和时空估计

Autoencoder Based Residual Deep Networks for Robust Regression Prediction and Spatiotemporal Estimation

Lianfa Li, Ying Fang, Jun Wu, Jinfeng Wang

TL;DR本文提出了一种基于自编码器的残差深度神经网络，通过利用快捷连接嵌套实现残差映射，实现了对连续变量的可靠预测，并在多个数据集上得到了较高的精度和效率。

Abstract

To have a superior generalization, a deep learning neural network often involves a large size of training sample. With increase of hidden layers in order to increase learning ability, neural network has potential degradation in accuracy. Both could seriously limit applicability of deep

deep learning neural network residual deep network shortcut connections fine particulate matter regression learner

发现论文，激发创造

深度自回归网络

本文介绍了一种深度、生成式自编码器，它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法，我们证明了该方法在几个经典数据集上取得了最先进的生成性能。

Oct, 2013

一种用于维度估计的加性自编码器

本文针对降维问题提出并分析了一种由序列化偏差估计、线性趋势估计和非线性残差估计组成的增量自编码器。实验结果表明，仅通过浅层网络封装非线性行为的自编码器能够识别具有低自编码误差的数据集的内在维度。该研究进一步比较了深层和浅层网络结构及其训练方法，发现深层网络结构在识别内在维度时获得较低的自编码误差，但是与浅层网络相比，检测到的维度并没有变化。

Oct, 2022

多重残差网络：提高残差网络的速度和准确性

本文提出了一种新的卷积神经网络架构，该架构通过扩展残差网络的层数，明确利用非常深网络的集成表现，并使模型变宽而不是更深，从而显著提高了准确性。受多元残差网络的并行结构启发，本研究还探讨了一种模型并行技术，该技术使残差块的计算分布在处理器之间，计算复杂度提高了 15%。最后，我们证明了我们模型在 ImageNet 分类数据集上优于大多数现有模型的表现。

Sep, 2016

基于自编码器的消除伪相关性方法

通过自动编码器方法分析了 Global Wheat Head Detection（GWHD）2021 数据集中存在的错误关联，并使用修复和加权盒融合方法成功提高了平均域准确率（ADA），证明了该方法能够抑制部分 GWHD 2021 数据集中的错误关联。

Jun, 2024

从神经 PCA 到深度无监督学习

提出了一种支持深度无监督学习的网络，使用编码器到解码器的侧向快捷连接来支持层次结构，并通过去噪自编码器和去噪源分离框架进行学习，以学习不变特征。

Nov, 2014

通过自归一化 ReLU 实现的关键自动编码器

稀疏自编码器在处理高维数据中提取低维表示方面具有实用性。然而，当测试时输入噪声与训练过程中使用的噪声不同时，其性能会显著降低。本文将单隐藏层稀疏自编码器形式化为一种转换学习问题，并提出了一个优化问题，导致了预测模型在测试时对噪声水平具有不变性。换句话说，同样的预训练模型能够泛化到不同的噪声水平。通过基于平方根 Lasso 的提出的优化算法，将其转换成一个新的计算效率高的自编码器架构。通过证明我们的新方法对噪声水平具有不变性，我们通过在去噪任务中使用提出的架构训练网络来评估我们的方法。实验结果表明，与常用的架构相比，训练模型在稳定性上在各种不同类型的噪声情况下有显著改善。

Jun, 2024

通过建模和预测标签结构来规范深度网络

该研究构建了自定义正则化函数用于深度神经网络的监督训练，利用自动编码器得到正则化器，实现分段模型标签的训练，并在语义分割中展示了正则化策略对提高准确率的实验结果。

Apr, 2018

深度残差网络用于图像识别

本文提出了一种残差学习框架，以优化超过 VGG 网络 8 倍深度的残差网络在 ImageNet 数据集上的分类任务，以及在 COCO 目标检测数据集上取得了 28% 的相对提升。

Dec, 2015

基于循环神经网络的自编码器用于视频伪造检测

本篇论文介绍了一种基于深度学习的视频伪造检测方法，旨在通过训练自编码器和循环神经网络模型进行对视频素材的分析，通过分析得到的重构误差和时序依赖性等特征，识别视频中的异常检测点，最终检测到视频的伪造目的。

Aug, 2017

协同过滤的深度自编码器训练

本文提出了一种基于深度自编码器的新模型，通过对 Netflix 数据集进行评分预测任务，相对于之前的模型具有明显优势。该模型不需要层预训练，采用 6 层自编码器进行端到端的训练，通过实验证明：深度自编码器模型的泛化能力比浅层模型更好，负部分的非线性激活函数对于训练深度模型至关重要，必须大量采用正则化技术，如 dropout，以防止过拟合。此外，我们提出了一种基于迭代输出反馈的训练算法，以克服协作过滤的自然稀疏性，该算法显著加速了训练并改善了模型性能。

Aug, 2017