- 混合规模：大型语言模型的内存高效自适应二值化
引入了一种名为二进制混合缩放（BinaryMoS）的新型二进制化技术，它采用多种尺度专家和自适应生成尺度因子的方式，通过上下文调整二进制权重值，提高二进制化语言模型的表示能力，同时与传统静态二进制化方法保持相似的压缩效率，并在各种自然语言处 - 图像超分辨率的二值扩散模型
本文介绍了一种针对图像超分辨率的新型二值扩散模型 ——BI-DiffSR，该模型利用改进的 UNet 架构进行二值化，并设计了一系列新的技术来增强模型性能和灵活性。实验结果表明，BI-DiffSR 在超分辨率任务中优于现有的二值化方法。
- BiPer：使用周期函数的二进制神经网络
通过使用二进制周期函数，将二进制神经网络的前向和反向模型一致化，可以控制量化误差并提高网络性能。在 CIFAR-10 和 ImageNet 数据集上的分类任务中，相比于现有方法，我们的方法能获得高达 1% 和 0.69% 的改进效果。
- FBPT：一个完全二进制的点转换器
本论文提出了一种新颖的全二进制点云 Transformer（FBPT）模型，可以在机器人和移动设备领域得到广泛应用和扩展。通过将 32 位全精度网络的权重和激活压缩为 1 位二进制值，提出的二进制点云 Transformer 网络大幅减少了 - 视频二值化的神经形态协同
提出了一个基于事件的二进制重建方法，利用双模态目标的属性先后在事件空间和图像空间中执行推理，并合并两个领域的结果以生成清晰的二进制图像。还开发了一种有效的集成方法，将该二进制图像传播到高帧速率的二进制视频中。最后，提出了一种新方法，用于自动 - BiLLM: 提高 LLM 后训练量化的极限
BiLLM 是一种创新的 1 位后训练量化方案，定制了预训练的大型语言模型，实现了仅使用 1.08 位权重在各种 LLM 家族和评估指标上实现高准确度的推理，超过了 LLM 的 SOTA 量化方法。此外，BiLLM 能够在单个 GPU 上在 - 各种基于深度学习的文档图像二值化方法的公正评估
文档图像二值化是文档分析领域重要的预处理步骤，但没有进行系统比较。本研究通过相同评估协议评估了不同深度学习方法在各种 DIBCO 数据集上的表现，发现 DE-GAN 在 DIBCO2013 数据集上效果最好，DP-LinkNet 在 DIB - BiHRNet：用于人体姿势估计的二进制高分辨率网络
在本研究中，提出了一种名为 BiHRNet（Binary HRNet）的二值人体姿势估计器，该估计器在适应二值神经网络（BNN）的同时保留了 HRNet 的关键点提取能力，通过提出二值网络训练过程的优化方法以及设计更适合二值化的结构，实现了 - 在脉冲神经网络中通过探索二进制彩票票券获取稀疏奖励
通过使用稀疏训练方法，本文研究了在不同网络结构下找到二进制权重尖峰票（BinW-SLT）是否存在于二进制 SNN 中，以及与简单模型二值化相比，尖峰机制是否在处理二进制信息方面是一种更有效的策略。通过全面评估，我们发现 BinW-SLT 在 - 使用本地重参数技巧学习离散权重和激活函数
研究二值化神经网络的运算和内存需求，提出通过训练网络的离散权重和激活，结合概率建模，实现更高效的离散激活网络推断，以降低运行时间和内存占用。
- CVPRBinaryViT：将二值化 Transformer 推向卷积模型
本文提出 BinaryViT 来增强二进制 ViT 的表现能力，加入了一些 CNN 结构的操作，包括平均池化层、多个平均池化支路、仿射变换等，实验证明，这使得一个纯二进制 ViT 模型非常具有竞争力。
- 二值视觉 Transformer：高效和准确度的探索
本论文提出了一种名为 BinaryViT 的方法，通过引入梯度正则化方案和激活偏移模块解决了 Vision Transformers 全量二值化所面临的性能降低和信息失真问题，使得其在计算和存储资源受限的设备上也能有更好的运行表现。
- 针对有限样本的视觉 Transformer 组叠代二值化（GSB）
本文提出了一种新的模型压缩方法，称为 Group Superposition Binarization (GSB)，通过替换复杂张量乘法为简单的位运算，将全精度模型参数和激活表示为仅有 1 位的参数，来解决 Vision Transform - 使用位平面编码进行输入层二值化
本文提出一种新方法，使用 8 位表示的输入数据直接对第一层进行二值化处理，并利用标准位平面编码按位提取特征，经过加权和再次融合后得到全二值化模型，该方法在不同神经网络体系结构下验证，比现有技术在准确性和 BMCA (二值乘法计算数) 减少方 - BiViT: 二值化视觉转换器的极度压缩
本研究提出了针对视觉 Transformers 的二值化方法，其中包括了对 softmax attention 的优化，采用 Cross-layer Binarization 和引入可学习的通道缩放因子等技巧，最终实现了在 TinyImag - BiFSMNv2：将二进制神经网络推向实际网络性能的关键识别应用
本文介绍了一种强大而高效的二进制神经网络 BiFSMNv2，用于边缘端的关键词识别应用中。使用双尺度可调节的 1 位体系结构，独立分离高低频组分以缓解精度和二进制之间的信息不匹配，并提出了学习传播二元化算子，用于二进制网络的前向和后向传播的 - BEBERT：高效稳健的二进制集成 BERT
本文提出了一种二进制集合 BERT（BEBERT）模型，采用集成技术来弥补其与全精度 BERT 相比的精度差距，同时保持计算效率，实验证明，BEBERT 在精度和鲁棒性方面明显优于现有的二进制 BERT 模型，训练时间更快，模型尺寸和 FL - EcoFormer：线性复杂度的节能注意力
提出了一种新的 Transformer 模型的压缩方法 EcoFormer，通过核化哈希将查询和键映射为低维二进制码，并在自监督学习的方式下匹配注意力图中提取的相似关系，可以实现 Attention 机制的线性复杂度并在芯片能耗上节省很多资 - BiT: 坚固的二值化多蒸馏 Transformer
本文提出一种改进的二元转换器方法，通过引入一种新型的弹性二元激活函数、两种二元化方案以及一种逐步压缩高精度模型的方法，实现了在实际精度水平下的完全二元化转换模型，并在 GLUE 语义理解基准测试上取得了接近完全精度 BERT 基线的成果。
- 分类二值化：软函数真的有必要吗？
该文提出了将网络二值化看作是二元分类问题，并使用多层感知机（MLP）作为分类器解决大梯度误差的问题，实验表明该方法可显著提高二进制网络的性能。