在生成对抗网络（GAN）框架中，通过额外的结构建模责任，我们提出了使鉴别器能够进行自监督表示学习的目标。结合在网络上施加的高效光滑正则化器，这些目标指导鉴别器学习提取信息性表示，同时保持能够从领域中进行采样的生成器。具体而言，我们的目标鼓励鉴别器在两个粒度级别上对特征进行结构化处理：在粗粒度上对齐分布特征，如均值和方差，在细粒度上将特征分组为本地聚类。作为 GAN 框架中的特征学习器，我们的自监督系统不再依赖于普遍存在于对比表示学习方法中的手工数据增强方案。在 CIFAR-10/100 和 ImageNet 子集上的实验表明，配备我们的自监督目标的 GAN 能够产生在表示学习方面与对比学习方法训练的网络竞争的鉴别器。

Sep, 2023

本论文根据对深度神经网络训练过程的观察，提出了 class-encoder 的形式化表述方法，它结合了自动编码器（auto-encoders）和 softmax 函数进行监督训练，以降低类别内部的特征空间变异性，提高人脸识别模型的分类性能。

May, 2016

本文提出一种利用先前领域知识改进通用生成模型性能的方法，通过引入正则化项，让生成模型的边缘分布遵循预设的特征依赖关系，可嵌入多种生成模型（例如变分自编码器、生成对抗网络）的基于反向传播的学习过程中

Feb, 2019

本文发现梯度正规化可以在视觉任务中显著提高分类精度，特别是在训练数据较少的情况下。我们介绍了一种 Jacobian-based 的正规化方法，并在真实和合成数据上进行了实证研究，结果表明学习过程可以控制超出训练点的梯度，并产生良好的泛化能力。

Dec, 2017

通过对生成法和判别法进行比较分析，研究聚焦于从各种来源获取信息的不确定性感知推断，以及对半监督学习的兼容性，推导出一般的采样方案，从后验预测分布中获得监督学习和半监督学习。

Jun, 2024

该研究构建了自定义正则化函数用于深度神经网络的监督训练，利用自动编码器得到正则化器，实现分段模型标签的训练，并在语义分割中展示了正则化策略对提高准确率的实验结果。

Apr, 2018

该研究探讨了深度神经网络中过拟合问题的原因，并提出了基于流形假设的正则化方法，包括有标签和无标签情况下的流形正则化，实验证明这些方法可以显著提高模型泛化性能。

Nov, 2015

本研究表明，最近的一些判别模型等价于 K-means，并且证明对于常用的逻辑回归后验概率，通过交替方向方法最大化 L2 正则化的互信息等价于软化和正则化的 K-means 损失。这一理论分析不仅将最近的一些判别模型直接联系到了 K-means，并且提出了一种新的软化和正则化的深度 K-means 算法，在几个图像聚类基准测试中表现出色。

Oct, 2018

本文探讨了利用正则化重建误差最小化的方法来捕捉数据密度和得分匹配的思想，从而实现对自编码器对于数据生成分布的学习和采样。

Nov, 2012

本文探讨了三维数据表示方式的重要性，使用基于体素的模型来进行形状建模和物体分类，并提出了训练基于体素的变分自编码器、探索潜空间的用户界面和采用深度卷积神经网络实现物体分类的方法。最终在 ModelNet 基准测试中，我们的模型相较于最新技术提升了 51.5% 的物体分类准确率。

Aug, 2016