- AAAI关于循环神经级联网络的表达能力
递归神经级联(RNCs)是没有循环依赖的递归神经网络。该论文研究了递归神经级联的结构及其能力,发现 RNCs 能够实现所有的正则语言,并提出一种新的框架来评估单个神经元的能力,进一步揭示了 RNCs 的构建方法和表达能力。
- 通过锐度方法强化单个神经元的学习
研究单个神经元面对对抗标签噪声情况下的 $L_2^2$ 损失学习问题。提出了一种高效算法,适用于广泛的激活函数族,包括 ReLU,并在远比之前工作更微弱的分布假设下近似最优 $L_2^2$ 误差,关键在于优化理论中局部误差界的一种新颖联系。
- 通过浅层 ReLU 网络学习神经元:相关输入的动力学和隐式偏置
通过训练一个从一个小初始值开始的任意宽度的一层 ReLU 神经网络来证明,对于学习单个神经元的基本回归任务,该网络能收敛于零损失并隐含有利于最小化网络参数秩的偏见。
- 利用锐度感知最小化增强基于微调的后门防御
本论文研究基于神经元角度的微调方法 Fine-tuning 与缩小后门相关神经元范数的新型防御范式 FTSAM,提高机器学习模型对抗后门攻击的鲁棒性。实验证明该方法在多个基准数据集和网络架构下具有最先进的防御性能。
- CVPR层次化神经元概念解释器
本文提出一种名为 HIerarchical Neuron concepT explainer (HINT) 的新方法,该方法在低成本和可扩展的情况下建立神经元和分层概念之间的双向关联,旨在通过验证弱监督目标定位来验证相关性,并演示了其在发现 - 用梯度方法学习单个神经元
研究单个神经元学习问题,证明了一些限制条件是必要的,同时在更温和的假设下获得了正面保证,超过了目前文献中研究的范围,并指出了进一步加强和推广结果的挑战。
- ACL问题 - 答案对的开放式信息提取
NeurON 是一个从问题 - 答案数据对中提取元组的系统,它使用多源序列到序列学习任务将问题和答案的分布式表示组合在一起以生成知识事实,并比其他最先进的 OpenIE 方法找到更多新的有趣事实来扩展知识库。
- 具有单神经元隐藏层的 ResNet 是一种通用逼近器
利用只有一个神经元和 ReLU 激活函数的堆叠模块组成的深度 ResNet 可以均匀逼近 $d$ 维的任何 Lebesgue 可积函数,这对于输入宽度为 $d$ 的全连接网络是不可能的,因此这一结果表明 ResNet 架构增加了窄深度网络的 - 深度神经网络的分组稀疏正则化
探讨了深度神经网络、特征选择和优化之间的关系,并通过引入 Group Lasso penalty 的方法,同时解决了三个问题,证明此方法可以在大规模分类任务上有效地实现。
- CVPR通过替换进行滤波器解码以理解学习的 CNN 特征
本文提出了一种新的滤波器替换方法来解决卷积神经网络中的内部表示问题,并将其中任意 CNN 单个神经元直接可视化到图像空间中的第一层滤波器。