- 通过进化对抗实例评估深度学习算法选择模型的鲁棒性
深度神经网络逐渐被用于在组合优化领域中进行算法选择，尤其是在避免设计和计算特征的输入表示方面。然而，深度卷积网络在对抗示例方面存在漏洞，而最近在装箱问题领域中显示出潜力的深度递归网络是否同样易受攻击尚不清楚。本研究使用进化算法在在线装箱基准 - 利用乘法权重扰动提高对损毁的强敏感性
深度神经网络在干净图像上表现出色，但在损坏图像上表现不佳。本文提出了一种改善深度神经网络对各种损坏的鲁棒性且不损害干净图像准确性的一种方法，该方法通过引入输入扰动，模拟在权重空间中的乘法扰动，并通过数据增强训练深度神经网络。实验证明该方法能 - UNICAD：统一的攻击检测、降噪和新类别识别方法
提出了 UNICAD 作为一种新颖的框架，通过集成多种技术提供了适应性解决方案，该框架能够实现准确的图像分类、检测未知类别和从对抗性攻击中复原，并且在对抗性缓解和未知类别分类方面表现优于传统模型。
- 学习中的噪声基准：从 2D 分类到 3D 重建
通过对 LNGT 的分析，我们提出了一种新的分类方法，并进行了有关记忆效应和未来研究机会的探讨，为后续研究提供指导。
- 揭秘神经网络的对抗脆弱性之路
我们研究了深度神经网络在分类任务中的对抗性鲁棒性，通过矩阵理论解释了深度神经网络对分类的对抗性脆弱性，理论结果表明输入维度增加时，神经网络的对抗性鲁棒性会降低，并且其鲁棒性只能达到最佳鲁棒性的 1/√d。这一矩阵理论解释与以前的信息理论基于 - 分布式本地梯度方法的通信高效自适应批量大小策略
现代深度神经网络通常需要分布式训练以应对其巨大的规模，但当工作节点数量增加时，通过每次迭代梯度同步的数据并行小批量随机梯度方法中的通信开销成为主要瓶颈。本文引入了适应性批量大小策略，用于局部梯度方法，通过自适应地增加批量大小来减小小批量梯度 - 用于减轻医学图像中的捷径学习的注视导向视觉 GNN
本研究提出了一种新颖的注视导向视觉图神经网络（称为 GD-ViG），通过利用注视的视觉模式将网络引导到与疾病相关的区域，并从而减轻了快捷学习。该网络在医学图像分析中取得了优异的表现，比最新的方法更有效地减少了快捷学习问题。
- 深度神经网络通过对比自监督学习的进化
我们提出了一个使用自监督学习来进化深度神经网络的框架，通过在 CIFAR-10 数据集上的实验结果表明，我们能够在降低对标注数据依赖的同时进化出适当的神经网络结构，并且相比于采用监督学习的个体，通过自监督学习学习到的网络结构对于输入的标注数 - LayerMatch: 伪标签对所有层是否有益？
基于理论分析和经验实验证明，特征提取层和线性分类层在响应伪标签时具有不同的学习行为。我们开发了两种层特定的伪标签策略：Grad-ReLU 可以通过在线性分类层中消除伪标签的梯度不利影响来减轻噪声伪标签的影响，Avg-Clustering 可 - 基于深度学习的置信区间和同时置信带
深度学习模型在各个领域显著提高了预测准确性，并在许多学科中得到认可。然而，有一个深度学习方面仍未充分解决的问题是预测不确定性的评估。本研究提供了一种有效的非参数自助法，能够正确区分数据不确定性和所采用的优化算法中固有的噪音，确保生成的逐点置 - 全局 - 局部卷积与脉冲神经网络在能效关键词检测中的应用
通过利用脉冲神经网络的能效优势，我们提出了一种端到端轻量级的关键词识别模型，其中包括全局 - 局部脉冲卷积模块和瓶颈 - 脉冲增强模块，通过精心设计的特征提取方法，实现了更稀疏、更能源高效且性能更好的语音特征提取，进一步通过瓶颈 - 脉冲增 - 文本摘要的系统调查：从统计方法到大型语言模型
通过深度神经网络、预训练语言模型和最新的大型语言模型的出现，文本摘要研究经历了几次重大转型，本文综述通过这些范式转变的视角全面回顾了文本摘要研究的进展和演变，分为两个主要部分：(1) 在大型语言模型时代之前的数据集、评估指标和摘要方法的详细 - 神经网络如何学习：隐含于随机梯度下降的正则化效应
深度神经网络能够有效地学习目标函数的支持，并且小批量随机梯度下降具有隐式正则化效果，通过学习特征的结构，提高特征的可解释性。
- 全局完善：大型语言模型上的标记级校准度量
深度神经网络和大型语言模型在提供准确的不确定性估计方面面临挑战，因此提出一种新的校准概念 —— 完全校准，并引入其相应的度量指标 Full-ECE，用于评估预测概率分布的整体校准性。
- 特征映射协调：增强对抗鲁棒性的图卷积方法
深度神经网络对对抗性扰动的脆弱性引起了重大的安全关切，本研究提出了一种创新的插拔模块称为基于特征图的重构图卷积（FMR-GC），通过在通道维度上谐调特征图以重构图，并采用图卷积捕获邻域信息，有效校准污染特征，与先进的对抗训练方法相结合，显著 - 通过解耦视觉表示遮蔽来提高对抗鲁棒性
深度神经网络在对抗性例子方面容易受到攻击，针对这一问题，我们提出了一种基于解耦视觉特征掩蔽的简单而有效的防御方法，该方法可以提高鲁棒性，相对于现有的防御方法具有优越性能。
- 一种以速率 - 失真为视角的不确定性量化方法
本论文介绍了一种名为 DAB（Distance Aware Bottleneck）的新方法，用于通过学习一个代码本，丰富深度神经网络的性质，从而提供确定性不确定性评估，达到更好的异常检测和误分类预测结果。
- 基于专家模型融合的高效 Pareto 集近似方法
通过专家混合（MoE）模型融合的实用且可扩展的方法，本研究旨在有效学习大型神经网络的 Pareto 集，从而捕捉多个目标之间的权衡关系和大致近似整个 Pareto 集，并在低内存使用量的情况下提供可扩展性。
- 高保真模型提取中超越缓慢标志
该研究评估了对于在标准基准上训练的模型使用 Carlini 等人 [1] 进一步加强的参数提取方法的可行性，引入了统一的代码库并发现计算工具可以显著影响性能；通过识别更容易和更难提取的神经元，开发了进一步的优化方案，将提取权重值的效率提高了 - 基于深度 Galerkin 反馈法的智能体动力学最优控制
通过采用基于漂移放松的采样方法，本文研究了 Deep Galerkin 方法所面临的采样问题，通过验证 Sznajd 和 Hegselmann-Krause 模型中的意见动态变化的多场控制问题，得出的策略在手动优化控制函数上实现了显著成本降