- 高效的 FP4 混合量化扩散变换器(HQ-DiT)
Diffusion Transformers (DiTs) are improved by Hybrid Floating-point Quantization (HQ-DiT), a post-training quantization - ICLR仅使用清晰语音的自监督语音质量估计和增强
提出了一种基于自编码器的自监督度量方法(VQScore),用于评估语音质量,并结合领域知识进行模型设计,同时训练自主语音增强模型以改进编码器的鲁棒性。实验结果表明,该方法和增强模型与有监督基线模型具有竞争力。
- HEQuant: 结合同态加密和量化的通信高效私有推断
HEQuant 是基于低精度量化感知优化的 HE 协议,在保护数据隐私的同时能够显著降低通信开销和延迟,相较于其他先前的 HE 协议和网络优化框架,HEQuant 在通信和性能方面都能取得显著的提升。
- ICCVRMP-Loss: 正则化脉冲神经网络的膜电位分布
我们提出了一种调节与量化误差密切相关的分布范围接近于脉冲的正则化膜电位损失 (RMP-Loss) 的方法,该方法非常简单易于实现和训练 SNN,并且在不同网络架构和数据集上始终表现优于以往的最先进方法。
- ECCVLipschitz 连续性保持的二值神经网络
本文提出了利用 Lipschitz 连续性作为二进制神经网络 (BNN) 模型鲁棒性的准确度量标准,并通过正则化方法,采用保留矩阵来近似目标权重矩阵的谱范数,以强化二进制神经网络的鲁棒性。实验证明,该方法在 CIFAR 和 ImageNet - CVPR量化的一种丧失:离散 Wasserstein 分布匹配的深层哈希
本文提出了一种替代学习量化限制的方法,将学习平衡码并降低量化误差的任务重新定义为将连续码的学习分布与预定义的离散均匀分布匹配,从而最小化两个分布之间的距离。同时,本文还提出了一种计算有效的分布距离,将其集成到现有的监督式哈希方法中能够提高代 - 双相优化下实现超低延迟无损 ANN-SNN 转换
本论文提出一种双相转换算法,通过减少量化误差、裁剪误差和残余膜电势表示误差来提高深度脉冲神经网络(SNN)的准确性,并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上表现出与人工神经网络(ANNs)相当的准确性和更低 - SimCC:一种基于简单坐标分类的人体姿态估计
本文提出了一种基于 SimCC 的 Human Pose Estimation 方法,通过将像素划分为多个 bin,实现了 sub-pixel 级别的定位精度和较低的量化误差,从而达到了更加简单和有效的流程,并在多个数据集上的实验证明了其更 - ICLR加速二进制嵌入以保持欧几里得距离
本文提出一种快速、距离保持的二进制嵌入算法,通过对稀疏矩阵进行稳定的噪音形状量化,实现将高维数据集转换为二进制序列,准确地表示了主题和研究领域。
- 旋转二元神经网络
本文提出了旋转二进制神经网络 (RBNN) 框架,通过调整全精度权重向量和其二进制版本之间的角度对齐,优化量化误差。利用可调节的旋转权重向量来实现二值化过程的合理转化,最终在 CIFAR-10 和 ImageNet 数据集上取得了比多个现有 - MM低分辨率 ADC 与相位噪声下智能反射面辅助毫米波通信的上行可达速率
本文研究了智能反射面辅助毫米波系统的上行可达速率表达式,考虑了智能反射面的相位噪声和基站(BS)的量化误差,结果表明当智能反射面的反射器数量趋近无限时,性能仅受到 BS 模数转换器分辨率的限制;另一方面,如果 BS 具有理想的 ADC,则智 - 二元神经网络:综述
本文综述了二值神经网络中直接二值化和优化二值化两种算法,其中优化二值化采用了诸如最小化量化误差、改进神经网络损失函数、减少梯度误差等技术来解决二值化不可避免的严重信息损失和优化难题;同时对硬件友好设计和训练技巧等实用方面也进行了讨论,最后对 - 二进制网络的架构学习
本研究提出了一种针对二进制网络的新型搜索体系结构,并定义了二进制层类型的新搜索空间和新的单元模板。使用零化层的新搜索目标使得搜索优良性能的二进制体系结构变得更加多样化,并在量化误差固有的二进制网络中实现稳定的训练曲线。本研究的搜索结果表明其 - 范数显式量化:改进向量量化获得更佳内积搜索
本文提出了一种基于范数误差和方向误差的定量化误差的新方法,指出在最大内积搜索(MIPS)中量化误差在范数方面的影响大于在方向上的影响,因此提出了内部明确的基于规范的矢量量化(NEQ)用于 MIPS。该方法可以明显减小需要搜索的大型数据集,同 - 准确的二进制神经网络的前向和后向信息保留
本研究提出了一种信息保留网络(IR-Net)以解决二元神经网络在正向和反向传播中的信息丢失问题,并通过权衡和标准化权重以同时减少量化误差和信息损失来最小化参数的量化误差。在 CIFAR-10 和 ImageNet 数据集上的综合实验表明,所 - 使用随机量化学习准确的低比特深度神经网络
本文介绍了一种用于学习准确的低比特深度神经网络的随机量化算法,其逐渐将网络量化,并可显著提高在不同数据集和结构上的低比特深度神经网络的准确度,适用于嵌入式应用。
- 用于高效跨模式检索的相关哈希网络
本论文提出了一种新的跨模式哈希方法,通过联合学习数据特征和量化误差控制实现高质量哈希编码,并在标准测试中表现良好。
- 通用高效率量化
本研究通过修改标量量化器来实现分段量化,进而实现量化误差的指数衰减,并且证明了在量化器设计时无需先了解已知信号的模型,但是在重建时考虑已知信号的相似度,例如稀疏信号模型,这一融合方法可以显著降低量化误差,并且与信号模型的 Kolmogoro - 向量量化的随机投影树
提出了一种简单且计算效率高的树形结构向量量化方案,与以往方法不同的是,其量化误差仅取决于数据分布的内在维度,而不是数据所处空间的表观维度。
- 评估自组织映射可靠性的统计工具
本文介绍了一些工具,用于测试特定自组织映射结果的置信度,测量自组织映射的量化误差和邻域关系,并且这些工具还可以用于客观测量自组织映射与其他神经网络模型相比更不敏感的情况。