深度学习模型的退役特征排名
该研究提出了一种新颖的双网络体系结构,由运算器和选择器组成,用于同时发现固定大小的最佳特征子集并同时对这些特征在最佳子集中的重要性进行排名,通过交替学习算法,该方法克服了组合优化的挑战,并在评估中表现出比几种最先进的特征重要性排名和监督特征选择方法更好的性能。
Oct, 2020
本研究提出了一种新的深度学习方法 ——DeepPINK,结合特征选择和控制误差率的想法来增加深度神经网络的可解释性和可重现性,并在模拟和真实数据集上展示了其实用性。
Sep, 2018
本文提出了一种统计测试假设模型性能的过程,该过程超越了社区中的实践状态,分析了来自大规模在线开放课程(MOOC)的一系列算法和特征集。该方法揭示了论坛、作业和点击流基于特征提取方法之间的严重差距,其中后者明显优于前两者,而前两者相互之间无法区分,并为评估学生成功的预测或基于 AI 的模型以及设计和针对处于风险中的学生模型和干预措施的实践影响提供了方法论和实践上的启示。
Feb, 2018
本文旨在量化特征提取和泛化中深度与特征之间的对应关系,通过展示提取单一特征和复合特征的深度 - 参数权衡表明特征对深度的适应性和相反情况,并证明在深度网络上实现经典的经验风险最小化可实现多种学习任务的最优泛化性能,其理论结果通过一系列数字实验进行了验证。
Apr, 2020
通过结合卷积结构和近似 top-k 排名目标,利用深度神经网络的特征,改进了多标签图像注释,并在 NUS-WIDE 数据集上实现了比传统视觉特征高大约 10% 的性能表现,提出了一种有效的方法。
Dec, 2013
本文提出了一种新的 few-shot learning pipeline,将图像检索的相关性排名转化为二进制排名关系分类。我们的深度神经网络的核心组件是一个简单的 MLP,并可构建于任何最先进的特征提取器之上。在元测试期间,RankDNN 根据支持图像与查询样本的相似度对其进行排名,并将每个查询样本分配给其最近邻的类标签。实验表明 RankDNN 能有效提高其基线算法的性能,并在包括 miniImageNet、tieredImageNet、Caltech-UCSD Birds 和 CIFAR-FS 在内的多个 few-shot 学习基准上优于先前的状态 - of-the-art 算法。
Nov, 2022
本文提出了一种新的深度学习体系结构 DeepRank,以模拟人类判断过程来进行信息检索中的相关性排名,并使用卷积神经网络(CNN)或二维门控循环单元(2D-GRU)来确定本地相关性和产生全局相关性分数。通过在基准 LETOR 数据集和大规模点击数据上的实验证明了 DeepRank 在精确 / 语义匹配信号,接近启发式,查询术语的重要性和不同的相关性要求等方面能够显著优于学习排名方法和现有的深度学习方法。
Oct, 2017
本文主要研究基于深度神经网络的方法在训练数据与测试数据分布不一致时的性能问题,并通过学习训练样本的权重以消除特征之间的依赖关系,从而提高深度模型的性能。通过在多个分布泛化基准测试上的实验,与同类研究相比,我们的方法取得了很好的效果。
Apr, 2021
研究了两层神经网络中过参数化对学生 - 教师框架的影响,发现只有当学生的隐藏层数量指数级大于输入维度时,才能达到完美的泛化。同时计算了其渐进的泛化误差。
Mar, 2023