本文主要介绍了如何通过使用经过预训练的编码器来改善 U-Net 类型架构在像素级图像分割领域的表现，同时比较了三种权重初始化方案，该网络架构是 Kaggle：Carvana 图像掩膜挑战中获胜解决方案的一部分。

Jan, 2018

转移学习通过使用在更大数据集上预先训练的参数来提高深度学习模型的性能。最近 NASA 的一项研究表明，使用在显微图像上预先训练的 CNN 编码器比使用在自然图像上预先训练的 CNN 编码器更有益于显微结构分割。然而，仅使用 CNN 模型仅能捕捉图像中的局部空间关系。本研究对比了在显微图像和自然图像上预先训练的 Transformers 和 CNN 模型的分割性能，结果部分确认了 NASA 研究的结论。我们还发现，在图像分割中，预先训练的 Transformers 和 CNN 编码器的组合一直优于仅预先训练的 CNN 编码器。这些结果表明，Transformers 和 CNN 相互补充，并且当在显微图像上预先训练时，它们对下游任务更有益。

Aug, 2023

U-Net 及其变种在医学图像分割中被广泛使用，然而大多数变种仅仅将改进策略局限于构建更复杂的编码器，而忽视了解码器的真正功能和提高分割结果的关键作用。为解决相关研究的空白，我们引入了 neU-Net，其中包括一种新颖的子像素卷积来进行上采样，以构建强大的解码器，并在编码器端引入多尺度小波输入模块以提供额外的信息。我们的模型设计在 Synapse 和 ACDC 数据集上取得了出色的结果，超过了其他最先进的方法。

Sep, 2023

本文介绍了一种新的像素预测器：双线性加性上采样，同时比较了各种类型解码器在各种像素级任务中的表现，发现解码器类型对于结果影响很大，并探讨了预测产生的伪影问题。

Jul, 2017

使用对比自监督学习和集成模型的方法，构建一个架构，以有效地进行连续学习，同时避免灾难性遗忘，对多个基准测试问题进行评估并取得了优异的表现。

May, 2021

本研究提出了一种基于编解码器网络的多层扩展框架，探究了不同网络结构对图像修复任务的影响，并与其他最先进方法进行了性能比较。关键词包括图像修复、深度学习、编解码器网络、网络结构和性能比较。

May, 2019

本文针对预训练语音编码器中的表示空间进行了研究，并通过对比自监督学习构建正对，以实现对表示空间的改进，进而在低资源环境下提高了语音处理任务的收敛速度和表现。

Oct, 2022

研究了在只提供极少量的图像支持集的情况下，如何用预训练好的编码器和解码器结合分类器元学习来执行语义分割。

Aug, 2021

本论文根据对深度神经网络训练过程的观察，提出了 class-encoder 的形式化表述方法，它结合了自动编码器（auto-encoders）和 softmax 函数进行监督训练，以降低类别内部的特征空间变异性，提高人脸识别模型的分类性能。

May, 2016

本研究介绍了自监督学习在数字天线阵列数据上的首次应用。通过对数字阵列数据进行预训练的编码器 - 解码器网络执行了一种自监督的噪声恢复任务，称为信道修复，通过推断被零掩盖的阵列数据的内容。然后，将编码器的架构和权重转移到一个具有特定任务解码器的新网络上，并使用少量标记数据对新网络进行训练。研究结果表明，在未标记数据上进行预训练可以使新网络在数字阵列数据上执行带宽回归任务，比从随机初始化进行训练的等效网络效果更好。

Jul, 2023