- 新加坡登革热预测的机器学习模型
通过使用传统的状态空间模型、监督学习技术和深度网络,结合气象数据和搜索引擎趋势作为特征,本研究对新加坡每周登革热病例进行了预测,发现使用卷积神经网络能够以最低的 RMSE 预测 2019 年的每周病例。
- AlignedCut:脑引导的通用特征空间上的视觉概念发现
使用大脑 fMRI 响应预测作为训练目标,我们研究了视觉数据、深度网络和大脑之间的有趣联系,发现通过不同目标训练的深度网络共享通用的特征通道,将这些通道聚类成不同的大脑区域,产生语义相关的物体片段,同时通过通道聚类发现了不同网络层级处理视觉 - 深刻理解:深度神经网络是否能更好地泛化?
通过深度神经网络的研究,我们发现 grokking 现象对于深层网络更为敏感,且特征排名的减少与过拟合到泛化阶段的相变存在关联,特征排名可能比权重范数更能指示模型的泛化行为。
- DecomCAM: 通过分解和整合推动超越显著性地图
利用分解与整合方法的 DecomCAM 对复杂深度网络进行解释,突出显示模型决策基础的区域,提供清晰的显著性图和详细的可解释性,通过对目标概念的贡献进行集成,实现了定位准确性、可解释性和计算效率的优化平衡,有可能成为高级深度学习模型细粒度解 - 领域偏移的教科书解决方案:医学图像分析的知识先验
医学图像数据中,现有深度网络模型对于不同医院采样的数据或受性别、种族等人口统计变量影响的数据领域转移问题的鲁棒性不足。本研究提出了一种基于医学知识先验的知识增强瓶颈模型(KnoBo),通过检索增强语言模型,设计适当的概念空间,并采用自动训练 - 通过舒尔引理的深度联合等变网络的构造性通用逼近定理
基于群表示论,我们提出了一个统一的构造性通用逼近定理,涵盖了包括浅层和深层神经网络在内的广泛学习机。我们通过研究向量值联合群等变特征映射的方法,扩展了 Sonoda 等人最近发展的系统方法,从而对复合非线性激活函数定义的真实深层网络进行了形 - 深度集成艺术风格识别
利用深度学习技术,本研究通过 8 种不同的深度网络架构在两个不同的艺术数据集上进行对比实验,并引入一种通过多个模型提取和识别输入的不同特征的可变方法,创造了与现有工作相比更一致的模型,在最大艺术数据集上达到了最新的精确度(WikiArt - - ICML将分箱作为一种先验任务:提高自监督学习在表格领域中的效果
在表格领域中,我们提出了一种基于经典分箱方法的新型预训练任务,通过重构分箱索引而不是原始值,为编码器提供一种归纳偏置以捕捉不规则依赖关系,并通过将所有特征设置为具有类别型目标来减轻特征的异质性。通过对多样的表格数据集的全面评估,我们的方法始 - 针对少样本个性化实例识别的对象条件下实例集
现在,用户要求视觉系统的个性化增强,能够从少样本数据集中识别和定位个人实例对象(例如,我的狗而不是狗)。本文构建了基于多阶统计的 Object-conditioned Bag of Instances (OBoI) 模型,通过扩展通用对象检 - 惩罚式生成变量选择
利用条件瓦狄斯坦生成对抗网络进行建模和估计,应用组 Lasso 惩罚实现变量选择,分析受截尾生存数据的收敛率、近似误差和效率,以及通过仿真和实验数据分析实际应用中的实用性。
- ICLR稀疏诱导激活的深度神经网络初始化
通过剪枝层来诱导和利用稀疏激活是提高深度网络计算效率的一种有前途的方法,本论文使用大尺度高斯过程极限分析了随机初始化时诱导隐藏层稀疏性的非线性激活函数,证明了一种先前未报告的培训不稳定性,并表明通过剪枝激活函数的幅度,可以克服这种不稳定性, - ICLR跨架构的零样本泛化视觉分类
深度网络的概括性是未见数据的关键要求,但其与分类准确性的关系尚不清楚。使用极简的视觉数据集和一种概括能力度量,我们展示了受欢迎的网络,从深度卷积网络(CNN)到 Transformer,在层级和体系结构的不同方面对未见类别的外推能力存在差异 - 低剂量 CT 图像恢复的对抗鲁棒性评估
评估不同深度学习方法和经典方法在 CT 图像恢复中的鲁棒性,发现深度网络更容易受到未定向攻击的影响,数据一致性不受重建质量影响,需要更好的正则化方法。同时,深度网络和经典方法都容易受到对局部病变产生可见变化的攻击的影响,这些攻击可以用于探索 - RanDumb: 对连续表示学习有效性的简单方法的质疑
RanDumb 通过使用固定的随机变换来嵌入原始像素,并在其之上学习一个简单的线性分类器,以检验连续表示学习的有效性,结果表明,RanDumb 在多个连续学习基准测试中明显优于使用深度网络进行连续学习的表示,这对于有效设计和训练需要高效连续 - 深度网络分区的快速准确枚举
提出了首个并行算法,对深度网络的分区进行了精确枚举,发现若只对体积较大的区域感兴趣,则均匀采样方法效率高,但若对分区中的小区域也感兴趣,则均匀采样在输入空间维度指数成本高。与此相反,我们的方法的复杂度与输入维度和区域数量呈线性关系。
- 深度预测编码网络中的分类和重构过程:对手还是盟友?
预测编码启发下的深度网络将分类和重构过程整合到共享中间层中,并详细分析了分类和重构在深度学习架构中的相互作用,发现分类驱动的信息与重构驱动的信息在共享表示层中相互影响。
- AAAI基于深度学习的多元时间序列群体因果推断
我们在多元时间序列的非线性系统中通过组级别的干预,测试模型的不变性,识别变量组的因果方向,从而获得比其他应用组因果方法更显著的改进,并深入了解真实世界的时间序列。
- 任务和解释网络
深度网络的可解释性在近年来日益重要,我们认为,人工智能不仅需要完成任务,还需要解释为何以如此方式完成任务。我们提出了一个基本框架 —— 任务和解释网络(TENet)—— 完全整合了任务完成和其解释。我们相信整个人工智能领域应该强调可解释性。
- 分析与增强展开优化的反向传播收敛性
通过算法展开的反向传播与通过迭代方法求解线性系统的解是渐进等价的,在构建更高效的反向传播规则方面提出了折叠优化系统。
- AAAI课程增强的残差软异性规范化:对深度图神经网络中的过度平滑问题
通过图神经网络在处理各种与图相关的下游任务中显著提升的性能,本文分析了其在浅层模型中的限制因素,提出了一种软图归一化方法以解决过度平滑和优化困难等问题。同时,基于课程学习的启示,提出了一种基于标签平滑的学习框架,通过逐渐平滑标签和构建逐渐复