学习少重叠表示

Nov, 2017

Learning Less-Overlapping Representations

Pengtao Xie, Hongbao Zhang, Eric P. Xing

TL;DR探讨了一种新型正则化方法，通过鼓励支持 RL 模型的权重向量具有小重叠度，同时促进向量之间的近正交性和每个向量的稀疏性来解决学习表征中的解释性和过拟合问题，并将其应用于神经网络和稀疏编码模型中，提出了一种高效的 ADMM 算法进行规则化，并通过各种数据集上的实验证明，使用这种正则化方法学习的权重向量更具解释性，具有更好的泛化性能。

Abstract

In representation learning (RL), how to make the learned representations easy to interpret and less overfitted to training data are two important but challenging issues. To address these problems, we study a new type of regulariza- tion approach that encourages the supports of weight v

representation learning regularization neural networks sparse coding interpretable

发现论文，激发创造

稀疏表示在强化学习控制中的应用

本文研究确定在增强学习中控制的稀疏表示。通过对比标准神经网络表示和具有稀疏性质的神经网络表示，在经典控制域中递增地学习控制策略的表现，证明了稀疏表示更加有效，因为其提供了局部性，避免了灾难性的干扰，特别是保持了稳定的值来引导学习。同时，称之为 “分布式正则化器” 的方法可以鼓励隐藏节点的激活匹配分布，从而产生稀疏的激活状态。该方法提出了一种简单而有效的方式来获取稀疏表示。

Nov, 2018

正则化压缩神经网络的学习

研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

Feb, 2018

采用分层稀疏编码学习单词表现

提出了一种使用启发自单词意义语言学研究的稀疏编码中的分层正则化来学习单词表示的新方法，并展示了一种基于随机近端方法的高效学习算法，用于处理数十亿单词令牌的层次稀疏编码，实验表明该方法在各种基准任务上的表现优于或与最先进的方法相媲美。

Jun, 2014

正则化表示对齐下的跨语言口语理解

本篇论文提出了一种基于正则化和对抗训练的跨语言模型，能够在口语理解系统中实现单词层面和句子层面的跨语言表示对齐，并在少量数据和零样本情况下实现比当前最先进方法更好的性能表现。

Sep, 2020

稀疏回归、Lp 正则化和自动模型发现

自动模型发现中的稀疏回归、特征提取和神经网络的应用

Oct, 2023

最小化 FLOPs 来学习高效稀疏表示

提出了一种基于正则化函数的方法，学习高维稀疏表示，以在视觉检索中提高效率，其表现与其他基线方法相竞争，且在实际数据集中具有类似或更好的速度精度平衡。

Apr, 2020

基于无碰撞正则化的贝叶斯优化学习表示

提出 LOCo，一种有效的深度贝叶斯优化框架，其采用一种新的正则化方法来降低学习到的潜在空间中的冲突，并促进从潜在空间到目标值的映射具有 Lipschitz 连续性，通过将数据点分成不同距离空间，来惩罚太接近的数据点，该算法的实验结果在多项绩效测试中表现出非常明显的效果。

Mar, 2022

Few-Shot 类增量学习的子空间正则化器

本文提出了一种简单的机器学习方法，通过采用特定的子空间正则化方案，让新增类别的权重向量与现有类别的权重向量所构成的子空间尽量接近，实现了使用普通逻辑回归分类器进行少样本类别增量学习的目的，该方法在 miniImageNet 数据集上优于当前的前沿方法 22％，并可以直接扩展以包含有关新类的其他信息，进一步提高 2％的准确性。因此，简单的几何正则化类表示法是持续学习的有效工具。

Oct, 2021

超稀疏神经网络：通过自适应正则化将探索转化为利用

提出了一种新颖且强大的稀疏学习方法：自适应正则化训练（ART）。通过逐步增加权重正则化，我们将稠密网络压缩为稀疏网络，并通过最高权重的方式压缩预训练模型的知识。在极高稀疏度情景下，我们的方法在 CIFAR 和 TinyImageNet 上比其他稀疏化方法具有显著的性能提升，并对高量级权重中编码的模式提供了新的认识。

Aug, 2023

使用离散潜变量学习表征的稀疏性

本文提出了一种称为 SDLGM 的稀疏深度潜在生成模型，可以通过限制表征的非零特征的数量实现数据的稀疏学习，其生成的稀疏表示可以根据观察本身调整，并使用 Gumbel-Softmax 分布进行两步采样生成，采取蒙特卡罗梯度估计器的变分方法进行推论和学习，实验结果表明其性能优于传统的生成模型。

Apr, 2023