- 将语义先验编码到隐式神经表示的权重中
本文提出了一种名为 SPW 的重新参数化方法,通过在 INR 模型的权重中编码语义先验,从而使 INR 模型隐含地包含语义信息并增强了其表征能力。实验证明,SPW 在多个任务上显著提高了各种 INR 模型的性能,包括图像拟合、CT 重建、M - 量化感知训练的转换率调度
基于量化意识训练 (QAT) 的过程中,通过控制权重 / 激活的位精度来学习量化权重,通过更新潜在权重间接学习,本文提出了一种基于过渡速率 (transition rate) 的调度技术,通过调整量化权重的过渡点数目控制量化权重的变化程度, - CVPR通过可学习的代理引导和对齐联合训练和修剪 CNN
本文提出了一种新的结构剪枝方法,通过强化学习代理来联合学习卷积神经网络模型的权重和结构剪枝,其核心元素是一个强化学习代理,通过动态奖励函数来确定 CNN 模型各层的剪枝比例,实验证明该方法在 CIFAR-10 和 ImageNet 数据集上 - 神经网络推理对高数据速率、低延迟科学应用的架构影响
科学领域越来越依赖于神经网络(NN)来处理大量数据的传入,而且延迟也很高,因此开发具有存储在芯片上的所有参数的 NN 非常关键。我们的研究表明,许多科学 NN 应用必须完全在芯片上运行,极端情况下需要自定制芯片来满足严格的约束条件。
- 学习为神经参数分配搜索编写超参数
神经参数分配搜索(NPAS)通过在给定任意固定参数预算的情况下获取网络权重来自动化参数共享。我们改进了先前工作中的两个主要缺点,首先是在搜索和训练步骤之间共享模式的不一致性,其在搜索期间对不同大小的层进行权重变形以衡量相似性,但在训练期间不 - 从 FOON 使用搜索算法检索任务树
通过使用智能机器人和通用函数面向对象网络(FOON)以及算法 IDS 和 GBFS,本文旨在研究厨房中的任务和目标的特定步骤与执行过程,以及不同算法的性能比较。
- 基于示例的随机森林预测解释
通过计算训练示例的标签和由森林叶子确定的一组权重之间的数量积可以得到一个随机森林预测;因此,每个预测可以由这些权重非零的训练示例集来解释。研究发现,这种解释所涉及的示例数量与训练集的维度和随机森林算法的超参数有关,这意味着可以通过变化这些参 - 深度学习模型权重中是否存在差分隐私推断?朝着更安全的深度学习
通过在深度学习模型的权重中检测,我们提出了一种使用微分隐私来推测深度学习模型是否使用了微分隐私训练的方法。通过实验证明,我们的方法为在深度学习模型中严格的隐私要求提供了额外的安全层。
- 几何深度学习:基于温度的图神经网络分析
我们以几何深度学习模型作为一个热力学系统来研究,将权重视为非量子非相对论粒子。我们采用 [7] 中先前定义的温度概念,并在 GCN 和 GAT 模型的各个层中进行了研究。我们讨论了我们发现的潜在未来应用。
- 最优加权随机森林
本文提出了一种基于权重优化的随机森林算法,通过极小化预测误差和风险来决定基本学习器的权重,实验结果显示该算法在回归问题上的预测精度优于其他算法。
- 前馈神经网络中的活动 - 权重对偶:泛化的几何决定因素
通过发现前馈神经网络中某一层神经元的活动变化与连接到下一层神经元的权重变化之间的完全对偶性,我们提出了一个统一的框架来研究如何控制两个几何因子(loss 地形的尖锐度和双重权重值的标准差,其缩放与解的权重范数成比例)来影响一般化的性能,控制 - ICML迭代样本加权优化黑盒指标
应用自适应例子权重学习方法来优化一个由混淆矩阵黑盒函数定义的分类度量函数,实验结果表明该方法在各种应用场景下表现优异。
- 解决类别不平衡问题的类别难度平衡损失
本文提出了一种名为 Class-wise Difficulty-Balanced loss 的新型损失函数,该函数根据模型感知到的类别难度动态分配样本权重,实验表明该损失函数在图像和视频数据集上均优于其他类别不平衡损失函数。
- 张量程序 III:神经矩阵法则
该论文发现神经网络中的权重与激活函数节点随着神经网络的宽度趋近于无穷时变得独立,并且给出了这个发现的几个相关应用。
- 双层神经网络在记忆中的网络尺寸和权重尺寸
使用复合的神经元重组,提出一种新的针对 ReLU 网络的训练方法,使得仅需使用数目较少的神经元就可以进行近似记忆,并且权重大小接近最优。
- 从权重预测神经网络的准确性
本研究证明了只通过观察神经网络的权重,而不必评估其输入数据,就能惊人地预测其准确性。通过使用简单的权重统计信息,预测器能够非常准确地排名神经网络的性能,并能对不同数据集和架构训练的网络进行排名。我们发布了一个包含 120k 个卷积神经网络的 - ECCVTRADI: 用于不确定性估计的深度神经网络权重分布跟踪
本文提出一种方法,通过跟踪神经网络在优化过程中的权重轨迹从而计算 DNN 的权重分布,进而通过从这些分布中抽样网络来评估 DNN 的认知不确定性。该方法无需更改架构或训练过程,在标准分类和回归基准测试以及分类和语义分割的混淆数据检测上具有竞 - CVPR深度网络中的选择性遗忘:无尽的网络阳光
介绍了一种针对深度神经网络的数据遗忘的方法,通过修改权重,使其不再包含特定的训练数据,并且减小了权重中信息泄漏的可能。
- ACL概率有向无环图自动机用于语义图的问题
研究了 DAG 自动机作为概率模型的可行性,结果表明,通过赋予转换权重,一些单根,多根和无界的 DAG 自动机不能作为有用的概率模型,并且这种问题似乎是普遍存在的,但平面变体不受此影响,但这些变体有其他问题。
- 设计公平的排名方案
本文介绍了一种方法,帮助用户选择公平的准则权重,在多维空间中为一系列公平准则展示出满足这些准则的区域,如果不满足相应准则,提供最小的修改建议。实验证明,该系统能够有效地满足公平性要求。