神经网络中特征学习的理论分析：从输入的涌现到固定特征的优势

ICLRJun, 2022

神经网络中特征学习的理论分析：从输入的涌现到固定特征的优势

A Theoretical Analysis on Feature Learning in Neural Networks: Emergence from Inputs and Advantage over Fixed Features

Zhenmei Shi, Junyi Wei, Yingyu Liang

TL;DR通过实验和理论分析，论文证明了神经网络在梯度下降训练时，能够通过利用数据输入特征来高效地学习有效特征。研究结果表明，特征学习在神经网络中对于实现优秀预测性能和识别输入结构非常重要。

Abstract

An important characteristic of neural networks is their ability to learn representations of the input data with effective features for prediction, which is believed to be a key factor to their superior empirical performance. To better understand the source and benefit of →

neural networks feature learning gradient descent input structure superior performance

发现论文，激发创造

利用本体感知数据提升具有不确定性的空间探索机器人的地形分类

在空间探索中，地形分类是一项重要任务，其中无法预测的环境难以仅依靠外部感知传感器（如视觉）进行观测。通过引入神经网络分类器，可以实现高性能，但由于缺乏透明性，这使得它们在任务规划中做出重要决策时不可靠。本文提出了一种带有不确定性量化的神经网络地形分类方法。我们通过在时间序列可用体系结构中使用只有本体感知数据作为输入的蒙特卡洛 Dropout、DropConnect 和 Flipout，使神经网络得以提高。我们使用超带状贝叶斯优化进行高效的超参数优化，以找到值得信赖的地形分类的最佳模型。

Jul, 2024

ShiftAddAug: 用混合计算对无乘法小型神经网络进行增强

ShiftAddAug 使用昂贵的乘法增强了高效但较弱的无乘法操作符，通过将 ShiftAdd 小型神经网络用作大型乘法模型的子模型进行训练，并鼓励它获得额外的监督，以解决混合操作符之间的权重差异问题。此外，采用新的权重共享方法和新的两阶段神经架构搜索方法，获得更好的增强效果以用于更小但更强大的无乘法小型神经网络。在图像分类和语义分割实验中，验证了 ShiftAddAug 的优越性，持续提供显著的改进。特别是在 CIFAR100 上，相较于直接训练的对照组，其精度提高了 4.95%，甚至超过了乘法神经网络的性能。

Jul, 2024

通过渐进式知识蒸馏推进压缩视频动作识别

通过压缩视频动作识别，利用压缩视频中的不同模态（运动矢量、残差和帧内数据）对视频样本进行分类，本研究提出了逐步知识蒸馏（PKD）和加权推理与缩放集成（WISE）两种策略，通过知识传递和模态间的层级收敛关系，提高内部分类器（IC）的准确性，并在实验中证明了它们对 UCF-101 和 HMDB-51 数据集准确率的改善。

Jul, 2024

面向 8 位浮点数的设备端训练和通信的联邦学习

探讨了在联邦学习环境中使用 8 位浮点数（FP8）进行训练的方法，该方法不仅可以有效地训练神经网络并减少计算开销，还能通过显著的权重压缩来减少客户端和服务器之间的通信成本。实验结果表明，与 FP32 基准相比，在各种任务和模型上，我们的方法始终能够至少将通信开销降低 2.9 倍。

Jul, 2024

机器学习任务的模式语言

通过设计一种新的任务模型，利用神经网络和目标函数，实现了一种能够将分类器转换为生成模型的新方法，称为 “操作器”。通过直接将任务规范转换成代码，操作器展示了风格转换和可解释的潜在空间编辑等功能，无需使用自定义架构、对抗训练或随机抽样。并与生成对抗网络（GANs）进行了形式化的关系分析，并通过实证研究证明了操作器与变分自编码器（VAEs）在性能上的竞争力。

Jul, 2024

基于等分布的自由节结样条和 ReLU 神经网络训练

使用 ReLU 激活函数和 Free Knot Splines 等传统方法进行浅层神经网络的一维函数逼近问题的研究，通过优化 ReLU NN 的训练程序，结合等分布原理提供了一种可靠的方法来获得准确的 ReLU NN 逼近目标函数的结果。

Jul, 2024

深度神经网络实现的通用量子测量

我们提出了两种基于神经网络的方法，用于纯态和混合态量子状态重构，并通过与现有神经网络方法的比较评估其有效性。我们证明了我们提出的方法在从实验数据中重建混合态量子状态方面可以达到最先进的结果。我们的工作强调了神经网络在革命性量子态重构和促进量子技术的发展方面的潜力。

Jul, 2024

神经条件概率推理

介绍了一种名为 NCP（神经条件概率）的新型算子理论方法，用于学习条件分布并重点关注推断任务。NCP 可用于构建条件置信区间、提取条件分位数、均值和协方差等重要统计量。通过利用神经网络的强大近似能力，该方法有效处理各种复杂概率分布，能够处理输入和输出变量之间的非线性关系。理论保证了 NCP 方法的优化一致性和统计准确性。实验证明，使用简单的具有两个隐藏层和 GELU 激活函数的多层感知机（MLP），我们的方法可以与领先的方法相媲美甚至超越，展示了在更复杂的架构中，基于理论的损失函数的最小化结构可以在不损失性能的情况下取得具有竞争力的结果。

Jul, 2024

你确定吗？分析面向实际语音情感识别的不确定性量化方法

使用简单的 UQ 方法，结合额外的 OOD 数据训练可以大大改善语音情感识别中因常见挑战如信号污染、语音缺失而导致的不确定性。

Jul, 2024

通过权重置换训练的神经网络是通用近似器

通过证明其引导 ReLU 网络逼近一维连续函数的能力，并在各种初始化情况下实现回归任务的高效性，本文提供了对一种新颖的基于排列的训练方法的理论保证，其在不修改权重值的情况下展示出理想的分类性能。权重排列过程中的显著观察提示了排列训练可能会提供一种描述网络学习行为的创新工具。

Jul, 2024