- DatasetDM: 使用扩散模型合成带有感知标注的数据
通过使用基于 DALL-E 和扩散模型的生成模型,我们提出了 DatasetDM,一个通用的数据集生成模型,可以生成各种合成图像和相应的高质量感知注释。训练仅需要少于 1%的手动标记图像,使得生成无限大的注释数据集成为可能。我们生成了具有丰 - 通过选择性注意力进行推理成本降低的高级特征并行化
通过使用串行通用的低级特征和并行的高级特征,我们的方法可以选择性地跳过或选择与类别相关的特征,从而减少推理成本。这种方法能有效地减少参数和计算复杂度,适用于移动、工业和机器人应用。
- 基于深度学习的图像水印技术综述
插入和提取水印以保护封面图像的秘密行为被称为图像水印。最近几年,基于深度学习的图像水印技术层出不穷。为了研究最新技术,本综述将前沿的基于深度学习的图像水印技术分为 Embedder-Extractor Joint Training、Deep - 迭代低分辨率点云补全变换在高分辨率颅骨缺损修复中的应用
每年有数千人遭受不同类型的颅骨损伤,需要费时费力的手动设计个性化植入物。因此,迫切需要一种自动化、专用的系统来增加个性化颅骨重建的可用性。我们提出了一种基于迭代的变换器方法,将问题重新定义为点云完成任务,使其能够以任何分辨率快速高效地重建颅 - 基于不确定性驱动的多尺度特征融合网络用于实时图像去雨
提出了一种基于不确定性驱动的多尺度特征融合网络 (UMFFNet),用于图像去雨,通过学习成对图像之间的概率映射分布来估计不确定性,并利用不确定性信息动态增强获取的特征并集中于由雨迹遮挡的模糊区域,从而减少预测误差,对抗资源受限设备上的大参 - ICML以心理理论为基础的多智能体强化学习的内在动机理论
该论文介绍了利用深度网络来模拟人类心智状态,并在多智能体环境中进行信念预测和强化学习的初步实验结果。
- 动态感知器用于高效视觉识别
本文提出了动态感知器 (Dyn-Perceiver) 框架,使用新颖的双分支架构将特征提取过程和早期分类任务分离,并在分类分支内专门放置了早期退出,从而提高了深度神经网络的推理效率。
- 环视优化器: $k$ 步内, 平均 1 步
本研究提出了 Lookaround 优化器,其通过迭代使用环绕步骤和平均步骤的方式训练多个网络,实现了促进网络多样性与提升泛化能力的效果,理论分析和实验表明该优化器优于现有方法。
- 数据增强中图像变换对深度神经网络性能的影响
研究探讨了数据丰富对深度神经网络在超分辨率问题上的性能影响,并发现所有转换的混合提供了最佳结果。
- 超越概率划分:使用语义感知分组标定神经网络
文章提出了一种更广义的标定误差度量定义,即划分校准误差(Partitioned Calibration Error - PCE),并探讨了如何对数据空间进行划分,以使得深度神经网络可以更准确地校准预测。作者提出了通过语义相关的划分函数来划分 - 双域稀疏视角 CT 重建的学习交替最小化算法
本文提出了一种新颖的学习交替最小化算法(LAMA),用于双域稀疏视图计算机断层成像(CT)图像重建,并在众多基准 CT 数据集上显示 LAMA 显着优于现有方法。
- 深入探讨光谱嵌入
该研究论文提出了两种新的方法,一种基于函数分析原则和核方法,另一种是基于训练优化原则变分损失的深度网络,以构建数据的谱嵌入,并提供了一个新的采样算法,以在单个步骤中利用学习的表示来生成新样本。
- 有效学习率的扩展:早期训练中批量归一化的风险
本文研究了深度规范化 ReLU 网络的早期训练阶段,并通过研究有效学习率(LR)来解释梯度流的影响,发现使用大 LR 类似于对非线性 ODE 应用显式求解器,在第一步后导致底层出现过振荡和梯度消失,因此在深度,LR 和动量(可选)上需要进行 - 学习能力:模型有效维度的一种度量
采用热力学和推理之间的形式对应来定义学习容量,该容量是对模型有效维度的度量,与 PAC-Bayesian 框架获得的容量概念具有数值上的一致性,是许多基于典型数据集训练的深度网络的参数数量的一小部分,而且取决于训练时使用的样本数量,可以用于 - 关于类别选择性神经元在早期训练中的特殊作用
通过实验证明,早期训练中出现的类别选择性神经元在初始训练阶段对网络功能是有利的,因为它们是分类任务的准线性快捷解决方案。但在后期训练阶段,对其进行抑制对最终准确性影响较小,因此需要进一步研究早期训练中类别选择性神经元的机制是如何促进网络的成 - 基于监督注意力多示例学习从多视角超声图像中检测心脏疾病
为了自动化筛查主动脉瓣狭窄,我们提出了一种新的端到端的多实例学习方法,引入了监督式注意技术和一种新的自我监督预训练策略。实验表明,与以前的方法相比,我们的方法在提高准确率的同时可以减小模型尺寸。
- 层次划分预测器
本文提出了一种新的序列预测算法,称为 HPFs,其中采用了分层划分特征空间、学习专门的预测器以及本地在线学习等三个原则,该算法可以在拥有强大模型类的同时提供理论上的遗憾保证和与深度神经网络相当的实证性能。
- 无限类别混淆
本文提出了一种名为 Infinite Class Mixup 的基于分类器混合的新型数据增广策略,通过对每个增广样本定义一个唯一的新分类器,而不是对训练对标签进行混合,使得神经网络能够更好地学习不同数据类之间的线性行为模式,并在多种模型上取 - ParamNet: 快速染色标准化的参数可变网络
本研究提出了基于参数可变的深度学习网络 ParamNet,用于数字病理学图像的染色归一化,该网络能够提高诊断系统的性能和分类器的泛化能力,同时保持计算效率和图像质量。
- 许多深层网络的训练过程可以被解释为探索同一低维流形
通过信息几何技术,分析深度网络在训练过程中的预测轨迹,揭示了网络训练过程中探索了一个有效低维度流形,在预测空间中,不同架构、大小、训练优化方法、正则化技术、数据增强技术和权重初始化的网络都在同一个流形上,并研究了该流形的细节,发现不同的网络