differentiable | BriefGPT - AI 论文速递

关键词differentiable

搜索结果 - 14

[Re] 使用 Transformers 进行可微分空间规划
本文考虑了可微分的空间路径规划问题，并证明了使用空间规划变形器的方法优于以往的数据驱动模型，并利用可微结构同时学习无地图辅助的映射。同时，本文还在增加了障碍物复杂度的地图上验证了该方法的规划准确性的稳定性。
PDF2 years ago
ACL可差分教师的自训练
提出了 DRIFT（Differentiable Self-Training）方法，将 self-training 视为 Stackelberg 博弈，以可微分的方式处理伪标签和样本权重，使用不同可微分性的 leader-follower
PDF3 years ago
通过伪量化噪声实现可微分的模型压缩
本文提出了 DiffQ，一种不需要渐近梯度估计的可微方法，用于在训练期间对模型参数进行量化。DiffQ 在多个基准测试和体系结构上进行了实验验证，对于图像分类、语言建模和音频源分离等任务，能够优化每个权重或一组权重使用的位数，并在模型精度损
PDF3 years ago
DiffPD：可微分的投影动力学
本文介绍了一种新型、快速可微的软体学习和控制应用模拟器 - Differentiable Projective Dynamics (DiffPD)，它以 Projective Dynamics (PD) 为基础具有隐式时间积分；DiffPD
PDF3 years ago
顺序减半 Top-k 运算符
提出一种可微的逐步减半方法来放松排名算子，通过使用锦标赛式选择来避免对得分向量进行 softmax 的迭代，从而实现了比以前更低的计算成本下的 top-k 更好的近似。
PDF4 years ago
实现可微重采样
通过引入一个基于神经网络的重采样器，以取代传统的重采样，我们解决了对可微分粒子滤波器的挑战，我们展示了一个新颖的网络体系结构，粒子变换器，并使用基于可能性的粒子集合的损失函数训练了它，我们的结果表明，我们的学习重采样器在合成数据和模拟机器人
PDF4 years ago
延迟感知的可微神经架构搜索
通过在优化中添加可微延迟损失项，使搜索过程能够在准确性和延迟之间进行权衡，并通过延迟预测的核心来实现，该核心将每个网络架构编码并馈送到多层回归器中。我们的方法能够降低 20％的延迟同时保持准确性，且易于转移到其他硬件平台或其他不能微分的因素
PDF4 years ago
深度神经网络的可微稀疏化
本文提出一种全可微的神经网络稀疏化方法，结合随机梯度下降，可以训练参数为零的稀疏结构和权重。该方法直接适用于现代深度神经网络，对现有模型的修改最小，并为未来的结构学习和模型压缩方法奠定了基础。
PDF5 years ago
利用参数偏移规则和门分解求取参数化量子门的梯度
本文介绍了参数移位规则 (Parameter-Shift Rule) 在量子电路中的应用，通过将量子门分解为标准门的乘积，每个标准门又都是参数移位规则可微分的，扩展了参数化量子门的测量梯度范围。
PDF5 years ago
可全微分的束搜索解码器
该研究提出了一种新的可微分束搜索解码器，通过推理过程在训练时间内进行优化，允许我们结合不同粒度的模型，并考虑两者之间的所有可能的对齐来处理未与输入序列对齐的目标序列。该系统具有端到端性，采用基于注意力机制的深度神经网络进行语音识别，而本研究
PDF5 years ago
可微分的视频文法
本文提出一种新颖的算法，能够从实际连续数据如视频中学习形式化的正则语法，以构建捕捉多种可能的顺序结构的生成模型，其效果优于现有最先进的方法，我们计划将代码开源。
PDF5 years ago
基于可微分神经架构搜索的硬件感知高效卷积神经网络设计：FBNet
通过使用梯度的基础方法优化 ConvNet 结构，避免像以前的方法一样枚举并分别训练个别结构，我们提出了一个可微分的神经结构搜索（DNAS）框架。FBNets 是通过 DNAS 发现的模型族，其在设计和生成自动模型方面均超过手动设计的最新模
PDF6 years ago
ICLR可微架构搜索：DARTS
本文介绍了一种基于可微分的连续松弛方法来应对体系结构搜索的可扩展性挑战，该方法可在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 等数据集中快速搜索高性能的卷积体系结构和循环体系结构。
PDF6 years ago
适应性计算时间的递归神经网络
本文介绍了一种自适应计算时间（ACT）的算法，它使得循环神经网络能够在接收输入和输出之间学习要执行多少计算步骤。ACT 要求最少的网络架构变化，并且是确定性和可微分的，在不会增加参数梯度的噪声的情况下表现良好。实验结果证明，ACT 在决定二
PDF8 years ago