reparameterization | BriefGPT

关键词reparameterization

搜索结果 - 12

可重参数化的双分辨率网络用于实时语义分割
该研究提出了一种用于实时语义分割的重参数化双分辨率网络（RDRNet），通过训练时使用多路径块（multi-path blocks），并在推理时将其重参数化为单路径块（single-path blocks），从而同时提高准确性和推理速度；此
PDF16 days ago
Mamba YOLO：基于 SSMs 的目标检测
基于 State Space Models 的 Mamba-YOLO 目标检测模型通过优化 SSM 和引入 LSBlock 和 RGBlock 模块，在 COCO 和 VOC 数据集上实验证明，其在性能和竞争力方面均超过了现有的 YOLO
PDF25 days ago
近似贝叶斯推断中的重参化不变性
Bayesian 神经网络的近似后验在重新参数化下保持不变的问题被证明在线性化拉普拉斯近似中得到缓解。通过发展一种新的几何观点来解释线性化的成功，并利用 Riemann 扩散过程将这些重新参数化不变性扩展到原始神经网络预测，从而提出了一种简
PDFa month ago
面向重参数化模型的准确后训练量化
通过使用平均绝对误差作为评估指标，我们提出了一种新的框架 RepAPQ，它有效地保持了量化再参数化模型的准确性，并通过量化保护再参数化和跨块校准的组件实现了更好的模型性能。实验证明，我们的方法在各种模型和任务上都优于以前的方法，8 位 PT
PDF4 months ago
通过同时估计图像和噪声改进去噪扩散模型
通过逆扩散过程改进图像生成速度和质量的两个主要贡献是：首先，通过在图像和噪声之间的四分之一圆弧角度上重新参数化扩散过程，消除了两个奇点，并将扩散演化表达为良好行为的常微分方程。其次，直接使用网络直接估计图像和噪声，使得逆扩散步骤中的更新步骤
PDF8 months ago
ICLR空间梯度缩放重参数化
本论文提出了一种新颖的空间梯度缩放方法，该方法根据特征映射的空间特征测量互信息，动态学习每个卷积层的缩放，并证明了空间梯度缩放实现了与分支再参数化相同的学习动态，同时不引入网络结构变化。实验结果表明，我们提出的缩放方法在不搜索再参数化结构的
PDFa year ago
EMNLP不同曲调同等技巧演奏：探索一个用于 Delta 调制的统一优化子空间
通过研究 Delta tuning 的最新模型，我们提出一种用于连接不同模型的统一优化子空间的低维优化参数的假设，并通过研究不同模型之间的关联性，探究这一假设。我们发现，在这个假设下，不同的 Delta tuning 可以实现互相转移，并且
PDF2 years ago
ECCV通过渐进式重新参数化调度实现灵活的归纳偏差
该研究提出了一种基于数据规模的感知偏差交替方法，通过将卷积和自注意力之间的重参数化插值来调整感知偏差。这种方法在小规模数据集上比之前的研究方法更优秀，如 CIFAR-100。
PDF2 years ago
神经重新参数化改善结构优化
本文提出，使用神经网络所引入的函数隐式偏置以改善结构优化的参数化，通过优化神经网络参数来代替在网格上直接优化密度，使得优化结果更为理想，在 116 个结构优化任务中，我们的方法比最佳基线方法更为有效。
PDF5 years ago
黑盒变分推断的可证明梯度方差保证
本文通过研究在目标平滑、变分族为位置 - 尺度分布情况下的重参数估计器，为基于随机梯度估计器的最新变分推断方法提供了不可改善的界限。
PDF5 years ago
离散变分自编码器的直接最大化优化
本研究采用直接损失最小化方法，对可连续随机变量的变分自编码器进行重参数化以降低梯度估计的方差，我们将该方法自然地扩展到结构化离散潜在变量模型，并在无结构和有结构的离散潜在变量的变分自编码器中进行了实证检验。
PDF6 years ago
循环批量归一化
本研究提出一种 LSTM 重新参数化的方法，可以将批归一化的优点引入到循环神经网络中，通过对隐层之间的转换进行批归一化，减少时间步长之间的内部协变量漂移，在序列分类、语言建模和问答系统等问题中验证了方法的有效性和实用性。
PDF8 years ago