隐身嵌入：在深度神经网络中利用嵌入空间进行模型正则化

Apr, 2023

隐身嵌入：在深度神经网络中利用嵌入空间进行模型正则化

Phantom Embeddings: Using Embedding Space for Model Regularization in Deep Neural Networks

Mofassir ul Islam Arif, Mohsan Jameel, Josif Grabocka, Lars Schmidt-Thieme

TL;DR本文提出了一种新的方法，通过利用信息丰富的潜在嵌入及其高内类相关性，从同质样本的子集中创建虚拟嵌入，并使用这些虚拟嵌入来降低它们在潜在嵌入空间中的类间相似度，以达到模型规范化的目的且不需要昂贵的超参数搜索，并在两个流行和具有挑战性的图像分类数据集（CIFAR 和 FashionMNIST）上验证了方法的有效性。

Abstract

The strength of machine learning models stems from their ability to learn complex function approximations from data; however, this strength also makes training deep neural networks challenging. Notably, the compl

machine learning neural networks regularization embedding image classification

发现论文，激发创造

基于嵌入式神经网络的正则化策略比较研究

本文旨在比较不同的正则化策略，以解决嵌入式神经网络在 NLP 中严重过拟合的现象。研究着重于超参数调整和组合不同的正则化策略，结果提供了神经 NLP 模型的超参数调整图片。

Aug, 2015

基于边际三元组嵌入的对抗学习正则化

本研究提出了一种方法来提高深度神经网络的鲁棒性，即将基于局部平滑特征空间的三元组嵌入正则化术语整合到分类目标中，该正则化术语由两步优化组成，可以通过明显的大 Margin 惩罚来找到潜在的扰动。在实验中，我们的方法在 MNIST，CASIA-WebFace，VGGFace2 和 MS-Celeb-1M 数据集上的表现证明了其增强了网络对特征和标签对抗攻击的鲁棒性。

Sep, 2019

基于嵌入式神经主题模型的统一性和显式规则化嵌入式更好理解

本研究提出了一种基于嵌入正则化约束的神经主题模型，引入了嵌入空间的均匀性度量，通过剔除不必要的参数优化空间，研究嵌入的变化对于模型性能的影响，以此实现主题质量和文档建模之间的平衡。

Jun, 2022

在数据短缺情况下比较正则化方法对文本分类的有效性：简单和复杂模型的比较

本论文研究了只有少量标记数据可用时，正则化方法对各种分类模型的影响。研究比较了基于词嵌入的简单模型与复杂模型（CNN 和 BiLSTM），在有监督学习中，对抗训练可以进一步正则化模型。在有无标记的数据集时，可以使用半监督学习方法和虚拟对抗训练等方法来正则化模型。通过在四个文本分类数据集上评估正则化效果（AG 新闻、DBpedia、Yahoo! Answers、Yelp 极性），只使用原始标记训练文档的 0.1% 到 0.5% 进行实验。简单模型在完全监督学习中表现相对较好，但在对抗训练和半监督学习的帮助下，无论是简单模型还是复杂模型都能够得到正则化，复杂模型表现更好。虽然简单模型对过拟合有较强的鲁棒性，但一个具有良好先验信念的复杂模型也能够对过拟合有较强的鲁棒性。

Feb, 2024

聚类内部：一种正则化 DNN 的隐式学习能力

本文研究深度神经网络的正则化机制，提出其通过提取类别样本的有意义聚类来实现隐含的正则化，证明这种聚类测度可以准确预测不同超参变化下的泛化性能。

Mar, 2021

通过建模和预测标签结构来规范深度网络

该研究构建了自定义正则化函数用于深度神经网络的监督训练，利用自动编码器得到正则化器，实现分段模型标签的训练，并在语义分割中展示了正则化策略对提高准确率的实验结果。

Apr, 2018

网络嵌入的对抗训练方法

本文主要介绍了如何使用经过改进的对抗训练方法来解决网络嵌入过程中的过拟合问题，最终取得了较好的模型健壮性和泛化性能，并从节点分类和链接预测两个方面评估了模型的有效性。

Aug, 2019

深度神经网络内存高效训练的流形正则化

本文提出了一种利用归纳偏置驱动的网络设计原则和基于层的流形正则化目标来实现神经网络学习过程中提高内存效率的框架，该框架的使用结果相对于传统学习技术具有更好的绝对性能和实证一般化误差，可以无缝地与现有的网络压缩方法相结合。

May, 2023

动态特征聚合的鲁棒表征

本文提出一种名为动态特征聚合的方法，旨在通过优化正则化和引入正交分类器的方式，压缩卷积神经网络 (CNN) 建模中的嵌入空间和提高模型的鲁棒性，从而更好地应对对抗攻击。在 CIFAR-10 数据集上，我们的方法平均准确率为 56.91％，优于 Mixup 基线 37.31％；此外，我们的方法还在超出分布检测方面实现了最佳性能。

May, 2022

用于本地稳定深度神经网络的流形正则化

本文使用流形正则化的概念开发了新的正则化技术，以训练具有局部稳定性的深度神经网络；我们的正则化器基于图拉普拉斯矩阵的稀疏化，当数据在高维空间中稀疏时，能够高概率地保持；经验证明，我们的网络表现出稳定性，并能够在不同的扰动模型下经受良好的检验；此外，我们的技术高效，并且与网络的额外两个并行前向传递的开销相当。

Mar, 2020