- 模型、数据和特征的联合交互
通过引入交互张量来分析数据和模型的特征交互,我们提出了特征学习的概念框架,并在其基础上推导了一些理论结果,包括解释广义推广误差相等性等现象的理论构建,从而增进我们对特征学习的理解。
- 逐步学习两层神经网络(巨大步长)
研究浅层神经网络的训练动态,探究少量大批量梯度下降步骤在哪些条件下可以促进核区以外的特征学习。
- 神经特征激活值分析以提高 ReLU 网络特征学习
本文研究神经网络中 individual ReLU units 的 characteristic activation values,提出 ReLU unit 的 characteristic activation set 与 ReLU n - 将目标拔向源头:关于域自适应语义分割的新视角
本研究提出了一种新的域自适应语义分割方法 T2S-DA,通过将目标特征拉近到源特征中来提高模型的跨域特征表示性能;同时,该方法还采用动态加权策略,使模型可以更好地集中在那些表现较差的像素类别上。实验结果证明,T2S-DA 方法学习的表示性能 - 一种基于卷积核的混合特征学习方法用于 ATM 事件日志数据的故障预测
本研究提出了一种基于卷积核的预测模型来从原始事件日志数据中提取特征,并使用线性分类器对样本进行分类,以便在 ATM 及时维护方面支持运营商。实验结果表明,该模型在时间序列分类和机器学习方法方面具有较好的性能,并已经应用于一个实际数据集中。
- 三层神经网络非线性特征学习的可证明保证
本文研究了三层神经网络在特征学习方面的优势,证明了其比两层神经网络具有更丰富的特征学习能力,并提出了一个通用的定理,以限定实现低测试误差所需的样本复杂度和宽度。
- 图像去噪的双残差注意力网络
本文提出了一种基于 Dual-branch Residual Attention Network(DRANet)的图像降噪方法,通过增宽网络结构和注意力机制获得更好的去噪效果。实验证明,相比于其他已有的方法,该方法能够更好地处理合成和真实场 - 学习鲁棒的视觉语义嵌入,实现通用的人员再识别
该论文提出了一种叫做 MMET 的多模态等价 Transformer,可用于更加鲁棒的视觉 - 语义嵌入学习和人物重新识别,同时还引入了一种动态的遮罩机制,叫做 MMM,它可以加强其他模态的特征学习,从而提高性能。
- 均值场神经网络中有限宽度核和预测波动的动力学
研究了有限宽度效应及特征学习在神经网络中的动力学特性,通过动力学平均场理论描述了无穷宽深度神经网络内核和预测动力学,并证明了特征学习可以降低终极 NTK 和终极网络预测的方差。
- 混合样本对特征学习的益处
本文研究数据增强方法 Mixup 的原理,从特征学习的角度解释了 Mixup 方法的优越性,并提出在早期训练阶段应用早停止技术以提高训练效果。
- WaveNets:小波通道注意力网络
本文介绍了一种在计算机视觉中使用的名为 WaveNet 的基于小波变换的通道注意力机制,可有效提高特征保留能力和图像分类性能。
- 利用中点混合在多视角数据中可以实现可证明学习多样性特征
该论文介绍了 Mixup 数据增强技术在图像分类方面的应用,从特征学习的角度解释了其成功的原因,并提供了实验证据支持其理论分析,证明其在处理具备多种特征的分类问题时效果良好。
- EMNLP解释机器翻译语言:神经分类器为何更好,又学到了什么?
通过实验,我们发现神经元模型 BERT 在特定任务下表现更好的原因是其具有更好的特征表示,尤其是与传统手工特征相比。此外,BERT 的高性能也与其对文本主题和错误相关性的学习有关。
- Holo-Dex: 用沉浸式混合现实教授灵巧技能
通过 Holo-Dex 框架,在虚拟现实环境中为机器人提供高保真的手部位姿估计信息,并使用功能学习和非参数模仿算法结合进行培训,以实现教学普适性的提高。
- ECCV基于标签引导的辅助训练改进了 3D 物体检测器
本文提出了一种用于改善现有 3D 目标检测器的特征学习的标签指导辅助训练方法,该方法包括两个模块:一个用于将注释和点云映射到特定任务表示的标签注释诱导器和一个协助原始特征获取检测关键表示的标签知识映射器。在室内和室外数据集上的广泛实验验证了 - 通过锚定聚类重新审视真实测试时间的连续推断和自适应训练
本文提出一种测试时训练(test-time training)的方法用于部署深度神经网络模型在不同域中数据的适配过程,其中采用实际顺序的 test-time anchored clustering(TTAC)协议来进行强化测试时间的特征学习 - ICLR神经网络中特征学习的理论分析:从输入的涌现到固定特征的优势
通过实验和理论分析,论文证明了神经网络在梯度下降训练时,能够通过利用数据输入特征来高效地学习有效特征。研究结果表明,特征学习在神经网络中对于实现优秀预测性能和识别输入结构非常重要。
- L2 正则化 DNN 中的特征学习:吸引 / 排斥和稀疏性
本研究探讨使用 $L_{2}$ 正则化的 DNNs 的损失曲面,并证明了通过特征学习来实现最优隐藏表示,以及如何通过隐藏表示的协方差来证明 $N (N+1)$ 神经元的局部最小值,并且在传统设置中远不需要 $N^{2}$ 神经元即可达到最小 - ICLR神经网络中带全局收敛保证的特征学习
该研究通过梯度流优化模型,研究宽神经网络中的特征学习和训练损失收敛问题,证明了一定条件下训练损失会以线性速率收敛于零,并展示了该模型的学习特性和推广能力。
- MMCroCo: 跨模态对比学习用于地球观测数据定位
本研究提出了一种对地基 LiDAR 点云进行本地化的方法,可以将由航空 LiDAR 点云生成的数字高程模型(DEM)映射到航拍图像上。该方法基于对比学习,使用 DEM 和高分辨率光学图像进行训练,并通过不同的数据采样策略和超参数进行实验。在