关键词second-order information
搜索结果 - 11
- ICML应用于强化学习的可扩展 Hessian 对角近似的再审视
本研究探讨了利用近似方法计算 Hessian 对角线的成本，提出了一种以较小的额外计算量为代价的改进方案 HesScale，并应用于强化学习问题中的二阶优化和步长参数缩放，实验证明 HesScale 方法比现有方法优化更快，通过步长缩放提高 - 具备二阶信息的鲁棒决策聚合
我们研究了一个二元决策聚合问题，两位专家根据观测到的关于未知二元世界状态的私人信号提出二元推荐。在专家的推荐观测情况下，一个不知道信号和状态之间联合信息结构的代理人试图将行动与真实状态匹配。我们在该情景下研究了是否能通过二阶信息进一步提高聚 - 张量网络视角下的卷积
本研究通过张量网络对卷积进行了全新的视角探讨，通过图表述来研究其基础性质，证明了该方法的表达能力，并通过实验证明了其对于多种卷积操作的适用性和有效性。
- ASDL：PyTorch 梯度预调接口统一化
本文提出基于 Automatic Second-order Differentiation Library (ASDL) for PyTorch 的梯度预处理方法，该方法可以以一种统一的方式，实现和比较多种梯度预处理方法。
- 基于动量的策略梯度算法与二阶信息
提出一种名为 SHARP 的基于二阶信息和具有时间变化的学习率的动量随机梯度下降方法，实现一阶可压缩的稳定点，无需重要性采样，具有 O（1 /t ^ {2/3}）的误差估计方差下降速率。实验结果表明该算法在控制任务上比现有算法效果更好。
- 利用高斯偏差分布检测新闻文章中的媒体偏见
通过研究基于高斯混合模型的概率分布，发现频率和位置对于文章层面的媒体偏见检测至关重要，其次是其精确的时序，相较于只依赖于低水平词汇信息分布的特征和神经文本分类方法。
- WoodFisher: 神经网络压缩的有效二阶逼近
本研究探讨在深度神经网络中利用二阶信息的现有近似质量并提出一种名为 WoodFisher 的计算逆黑塞矩阵的方法，这一方法可以用于神经网络压缩，该方法在基于镜像对称剪枝的一次性压缩方案上显著优于流行的现有方法，并在进行迭代渐进剪枝时可以自动 - ECCVSOLAR：用于图像检索的二阶损失与注意力
本研究探索了深度学习中的两个二阶组件，一个关注于空间信息以增强图像描述符表现，另一个则关注于二阶相似性损失用于图像检索，两者相结合在图像检索、匹配任务中取得了最先进的结果。
- ICLR利用局部集成技术检测欠规范性
本研究提出了基于局部集成的方法来检测预先训练模型在测试时是否存在欠规范，该方法使用局部二阶信息来计算模型集合的预测方差，并在实验中表现出对检测测试数据中欠规范、检测伪相关性和主动学习具有应用价值的效果。
- Stein 变分牛顿法
本文提出了一种改进的 Stein 变分梯度下降（SVGD）算法，采用函数空间的 Newton 迭代近似二阶信息以加速算法，同时还介绍了二阶信息在选择核函数时的更有效作用。在多个测试案例中，我们观察到与原始 SVGD 算法相比，有了显著的计算 - 基于骨架的动作识别的双流自适应图卷积网络
本研究提出了一种新的双流自适应图卷积网络 (2s-AGCN)，用于基于骨架的动作识别，通过数据驱动的方法学习网络拓扑结构，同时建立了包含一阶和二阶信息的双流框架，通过对 NTU-RGBD 和 Kinetics-Skeleton 数据集上的实