通过训练表示对齐学习紧凑特征

AAAINov, 2022

Learning Compact Features via In-Training Representation Alignment

Xin Li, Xiangrui Li, Deng Pan, Yao Qiang, Dongxiao Zhu

TL;DR本研究提出了一种名为 In-Training Representation Alignment (ITRA) 的方法，通过匹配损失函数，显式地对两个不同 mini-batch 的 feature distribution 进行校准，从而稳定随机梯度下降（SGD）中高方差的情况，并提出了其对特征表示学习的良好效果的分析，大规模实验表明该方法在图像和文本分类方面优于传统方法。

Abstract

deep neural networks (DNNs) for supervised learning can be viewed as a pipeline of the feature extractor (i.e., last hidden layer) and a linear classifier (i.e., output layer) that are trained jointly with stochastic gradient descent (SGD) on the loss function (e.g., cross-entropy). In

deep neural networks stochastic gradient descent in-training representation alignment feature representation learning multi-modalities

发现论文，激发创造

对抗式特征分布对齐在半监督学习中的应用

本文提出一种新的特征分布对齐方法，用于在只有少量标记样本时避免过度拟合，已在 CIFAR10 和 SVHN 数据集上进行了测试，结果表明在 SVHN 数据集上取得了接近完全监督模型的测试错误率，并提供了关于特征分布对齐发生的理论洞察，并证明了我们的方法可以减少它。

Dec, 2019

基于对比特征对齐的不变表示学习用于抗干扰 SAR 目标识别

该研究提出了一种名为对比特征对齐 (CFA) 的解决方案，旨在学习具有稳健性的不变表示形式，通过联合分类损失和通道加权平均平方误差 (CWMSE) 损失来训练模型，以获得逐步学习不变目标表示的能力，该方法在 MSTAR 数据集和六种 DNN 模型上得到了广泛评估，并成功证明其在不熟悉的环境中识别目标的效能

Apr, 2023

使用局部变换学习不变表示

本文提出了一个新颖的具有转换不变性的特征学习框架，将线性转换纳入特征学习算法中，可应用于无监督学习方法，如自动编码器或稀疏编码，证明在 MNIST 变化，CIFAR-10 和 STL-10 等图像分类基准数据集上具有优越的分类性能并在 TIMIT 数据集上实现了最先进的电话分类任务的结果。

Jun, 2012

两层网络训练中的早期对齐是双刃剑

使用一阶优化方法训练神经网络是深度学习实验成功的核心。在小的初始化下，训练动力学的早期阶段会导致神经元朝关键方向对齐，从而引发网络的稀疏表示，这与渐近梯度流的隐式偏差相关。然而，这种稀疏诱导的对齐会导致在最小化训练目标上面临困难，我们还提供了一个简单的数据示例，说明过度参数化的网络无法收敛到全局极小值点，而只能收敛到一个虚假的稳定点。

Jan, 2024

用特征可分性提高对抗训练

本篇论文旨在探究防御对抗攻击的神经网络算法，在研究中发现传统的对抗训练没有学习到更好的特征表示方法，同时也存在过度拟合和泛化性能差的问题。为解决这些问题，引入了对抗训练图（ATG）的概念，提出基于 ATG 的对抗训练与特征可分性（ATFS）的新框架，该框架能够提高特征的内部类相似性并增加类间特征方差，从而明显提高了算法的性能。

May, 2022

自监督学习：解耦群表示作为特征

本研究提出迭代分割不变风险最小化（IP-IRM）算法，用于跨越简单的数据增强特征，对抽象语义进行对比学习，以实现对视觉表示力的进一步提升。该算法通过对训练样本的划分和最小化固定子不变对比损失，最终收敛到完全解耦的语义表示，且在各项基准测试中表现良好。

Oct, 2021

基于 CNN 的联合聚类和特征漂移补偿的大规模图像数据表示学习

本文提出了一种基于卷积神经网络的迭代式聚类算法，采用 k-means 对图像进行聚类标签分配，结合特征漂移补偿机制以优化聚类精度和存储复杂度，并在大规模图像集上超越了现有算法的性能。

May, 2017

领域不变图像表示的高效学习

本文介绍了一种能够有效地实现为线性分类器的学习表示算法，该算法能够明确地补偿域不匹配，并在训练分类器的过程中形成从目标（测试）域到源（训练）域的线性转换。通过多类别适应的表示学习，能够在异构特征空间之间进行映射，并且可以扩展到大型数据集。在几个图像数据集上的实验结果表明，与之前的方法相比，提高了准确性并具有计算上的优势。

Jan, 2013

学习不学习：使用偏置数据训练深度神经网络

本文提出了一种新颖的正则化算法，用于训练具有严重偏差的深度神经网络，该算法可以有效地消除特征嵌入中的偏差信息。

Dec, 2018

利用反向对齐特征更新引导深度特征学习

通过研究深度学习和超参数对特征学习的影响，本文提出了特征更新与反向传播之间的对齐概念，并研究了随机初始化下的对齐、ReLU MLPs 和 ResNets 的特性。

Nov, 2023