gradient information | BriefGPT

关键词gradient information

搜索结果 - 18

DMS: 解决实用对抗攻击中的信息丢失问题的多步骤方法
通过研究信息损失对深度神经网络在对抗样本上的效果的影响，本文提出了 Do More Steps (DMS) 算法，利用梯度信息来减少信息损失，从而提升攻击性能。通过在两个大规模数据集上的实验证明了 DMS 算法相对于标准方法在保持攻击完整性
PDF25 days ago
通过移除单个样本进行数据剪枝
我们提出了一种名为 MoSo 的新型数据修剪方法，旨在从训练集中识别并删除最不具信息的样本，通过衡量从训练集中排除特定样本时经验风险的变化程度来确定每个样本的重要性，通过一个高效的一阶逼近器，仅需要不同训练阶段的梯度信息，实验结果表明，Mo
PDF8 months ago
医疗联邦学习的隐藏对抗性漏洞
本研究探讨了联邦医学影像分析系统对对抗攻击的易受攻击性。我们的分析揭示了一种新的利用途径：通过使用先前全局模型更新的梯度信息，攻击者可以提高他们攻击的效率和可迁移性。具体而言，我们证明了单步攻击（例如 FGSM）在适当初始化的情况下，可以超
PDF8 months ago
基于分散框架的图形联邦学习
图形联邦学习在多种场景中都有广泛的应用，需要更多的数据隐私保护。这篇研究论文提出了一种基于去中心化框架以及节点间数据相似性的图形联邦学习方法，通过线性加权聚合节点的梯度信息，实验证明该方法的有效性优于其他方法。
PDFa year ago
AAAI标签损失：通过直接损失构建进行弱监督学习
本文提出一种基于 (heuristics) 启发式规则构造损失函数 (loss functions) 的弱监督学习 (weak supervision) 方法，命名为 'Losses over Labels (LoL)'，可以更多地利用启发
PDF2 years ago
ACL重新审视神经机器翻译中的检查点平均化
在神经机器翻译中，采用 checkpoint 平均值来提高模型的性能，此方法计算简单，被广泛采用。本文通过实验，考虑了不同 checkpoint 选择策略、加权平均、梯度信息等方面的应用，结果表明 checkpoint 平均值对于性能的提高
PDF2 years ago
可扩展的结构自动微分一阶贝叶斯优化
该研究讨论了如何通过结构化矩阵来提高贝叶斯优化（Bayesian Optimization，BO）的性能，并针对内核函数的变换和组合，提出了一个结构感知的自动微分算法，可将 BO 扩展到高维度。
PDF2 years ago
Grad2Task: 使用梯度表示任务的改进少样本文本分类
本文提出了一种基于条件神经过程的方法，用于 few-shot 文本分类，通过从其他各种丰富注释的任务中迁移学习，利用梯度信息从基础模型中表示每个任务，并训练一个调整网络来调整一个文本分类器，受任务表示的条件约束，实验结果表明，这种方法在多个
PDF2 years ago
ICML基于梯度的显著性方法中正向聚合和梯度传播的重新思考
本篇文献探讨了一种用于解释神经网络预测结果的显著性方法，并发现使用两种处理梯度信息的方法会破坏这些方法，提出了几种正向处理梯度信息的聚合方法，并显示了仅传播正向梯度信息会产生破坏性影响。
PDF4 years ago
AdaX: 指数长期记忆的自适应梯度下降
本文发现 Adam 算法的快速收敛可能会导致算法陷入局部极小值，为解决这一问题，我们提出了 AdaX 算法，与 Adam 不同之处在于 AdaX 能够在训练过程中积累过去的梯度信息，实现自适应调节学习率，同时本文也证明了 AdaX 算法在凸
PDF4 years ago
CSPNet: 一种新的骨干网，可增强 CNN 的学习能力
本文介绍了一种名为 Cross Stage Partial Network (CSPNet) 的深度神经网络，旨在通过减少多余的梯度信息占用，降低网络推理的计算资源消耗。该方法可以与 ResNet、ResNeXt 和 DenseNet 等不
PDF5 years ago
ICLR基于单元神经网络结构搜索的架构学习理解
研究使用神经结构搜索（NAS）算法通过对 loss landscape 以及 gradient information 的分析，发现其倾向于选择使用 wide and shallow cell structures 的架构，虽然这些架构具有
PDF5 years ago
ICLRSNAS：随机神经结构搜索
提出了随机神经架构搜索 (SNAS)，作为一种经济高效的神经架构搜索方案，它在同一次反向传播中训练神经操作参数和架构分布参数，同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS，提出一种全新的
PDF6 years ago
AutoPruner：一种端到端可训练的过滤器剪枝方法，用于高效的深度模型推断
通过将通道修剪和模型微调合并为单个端到端可训练的系统，使用自动修剪器来找到不重要的滤波器。所生成的真二元指数代码可以安全地删除运用于微调后的模型中。相较于之前的优秀修剪算法，AutoPruner 能够显著提高性能。慢慢擦除几个弱滤波器可以防
PDF6 years ago
基于 Stein 方法的一类估计器的收敛速率
使用斯坦因方法可以通过采样分布的渐变信息来减少蒙特卡罗估计器的方差，本文建立了一类基于斯坦因方法的估计器的理论界限，分析考虑了采样分布和测试函数的平滑程度，状态空间的维数，以及来源于马尔可夫链的非独立样本的情况，这些结果提供了关于基于梯度的
PDF8 years ago
AAAI具有连续 Pareto 前沿逼近的多目标强化学习 —— 补充材料
使用梯度信息和基于策略的方法在多目标 MDP 中学习连续的 Pareto 边界序列，通过跟踪单个梯度上升运行来生成解决方案。
PDF10 years ago
关于基数约束下一般凸平滑函数的前向 - 后向贪心算法
本文研究使用前向 - 后向贪婪算法解决带有一般凸平滑函数的稀疏特征选择问题，通过分析两种前向 - 后向贪心算法的理论性质，通过使用基于梯度信息的特征选择策略，成功提高了特征选择算法 FoBa-obj 的效率，并应用于传感器选择问题以完成人体
PDF11 years ago
无 U-Turn 采样器：自适应设置哈密顿蒙特卡罗路径长度
介绍了一种基于 Hamiltonian Monte Carlo 的 No-U-Turn Sampler 算法，能够消除用户需要手动设置采样步数的需求，通过递推式自适应调整采样步数；此算法效率至少不劣于标准 HMC 算法，而且不需要手动调参，
PDF13 years ago