本文提出了一种基于产品的神经网络模型（PNN），通过嵌入层来学习分类数据的分布式表示，通过乘积层来捕获领域之间的互动模式，并进一步完全连接的层来探索高阶特征交互，实验证明在两个大规模实际广告点击数据集上，PNN 模型在各种指标上都优于现有的基准模型。

Nov, 2016

提出了双自适应训练 (DAT) 方法，通过引入系统误差预测网络以及任务相似性联合优化，使光子神经网络 (PNN) 适应大规模系统误差，实现高精度梯度计算，从而在物理系统中实现 PNN 数值模型和物理系统的高相似性映射，成功地使 PNN 在物理系统中保持与无误差系统相当的分类准确率，并表现出优于现有在场训练方法的出色性能。

Dec, 2022

本文研究了平均场变分贝叶斯神经网络的表示能力，发现相比于标准深度神经网络，BNN 更不可能编码复杂的概念，但这并不一定意味着表示能力差。

Feb, 2023

本文提出了一种基于伪核的新工具，用于分析和预测网络学习到的表示，通过验证其在简单测试案例上的使用，本文论证了该方法可预测权重初始化和训练计划对表示学习和下游并发多任务执行表现的影响。

Jul, 2023

在这项工作中，我们探讨了表示学习和解释所学的表示在机器学习和神经科学中的关键领域，并发现了表示与计算之间一些令人惊讶的脱节现象，这可能对相关工作构成挑战。我们通过创建数据集来匹配不同特征的计算角色，并操纵特征或数据的其他属性。我们训练各种深度学习架构以计算这些关于输入的多个抽象特征，并发现他们学到的特征表示在表示一些特征时存在系统性的偏倚，这些偏倚依赖于特征的复杂性、特征学习的顺序和特征在输入中的分布。同时我们还探索了这些偏差对体系结构、优化器和训练方案的影响。这些结果有助于描述基于梯度的表示学习的归纳偏差，同时突出了理解性或对比模型和大脑之间表示的关键挑战，即区分系统内部表示的外部偏差和计算上重要的方面。

May, 2024

本文对多种因素对卷积神经网络（CNN）提取的特征代表性的影响进行了全面评估，提出了一种新的多尺度图像特征表示方法来有效编码图像，并在可视化目标检索的四个典型数据集上表现出了优异的性能。

Nov, 2016

提出了一种逐渐增加频率编码集的渐进式位置编码方法，构建了一个分层的 MLP 结构，其能够准确地重建具有广泛频谱的场景，并在不需要明确的层级监督下逐步学习场景表示。

Feb, 2022

本文研究了神经网络所谓的收敛学习现象，使用多种技术对神经网络进行了实验，发现了一些神经网络的未知属性，包括神经网络中某些特征通常会被成功学习，而其他特征则没有被可靠地学习，单元学习低维子空间，而这些子空间是多个网络共有的，但学习的基向量不一致，表示代码表现出局部代码和略微分布式代码的混合特征。

Nov, 2015

我们设计了一种利用最小描述特征来大大降低深度学习网络复杂性的新型定位神经网络（P-NN）。通过最大功率测量及其时间位置传达进行定位所需的信息，使 P-NN 的学习能力得到改进，同时在稀疏图像和测量矩阵上实现自注意力机制以强化网络的训练能力，并通过信息论量化信号 bin 选择上的期望信息增益和分类能力进行特征空间大小的优化。数值结果表明，P-NN 在性能复杂度平衡方面相比利用完整的功率延迟特征（PDP）的深度学习基准有显著的优势，尤其在低信噪比情况下，通过我们的最小描述特征，不必要的测量结果被舍弃，取得了很大的性能改进。

Apr, 2024

本文提出了一种新的方法，用于可视化和理解神经网络输出层之前的向量空间，旨在揭示分类任务下的深层特征向量属性，特别是过拟合现象在特征空间中的本质和其对进一步应用的负面影响，并对其进行了真实应用场景的评估，证明了其突出性能优势。

Jun, 2020