本文介绍了一种名为 DIR-Net 的神经网络二值化方法，通过改进内部传播和引入外部表示来保留神经网络信息；采用信息最大化二值化（IMB）、分布敏感二段估计器（DTE）和表示对齐二值化感知蒸馏（RBD）等三项技术，该方法在 ResNet、VGG、EfficientNet、DARTS 和 MobileNet 等主流紧凑体系结构下实验表现优异，可在实际资源受限设备上实现存储节省和加速优化。

Sep, 2021

提出了一种有效的上采样方法和高效的注意力计算策略，以实现从单一预测任务到密集预测任务的二进制神经网络（BNN）成功的转移。在 Cityscapes、KITTI road 和 ECSSD 上的实验充分显示了我们工作的有效性。

May, 2024

本文介绍了一种使用对比学习和最大化互信息的方法来使用二进制神经网络实现更好的分类和分割结果，以减少因为二值化操作而导致的信息丢失。

Jul, 2022

本篇论文提出一系列工程技术来改善二值化神经网络的准确性，包括更合适的激活函数、反向初始化、渐进式量化、网络叠加等，并在人体姿态估计和 ImageNet 大规模图像识别任务中验证了其优越性。此外，还首次探讨了二值化神经网络和知识蒸馏相结合的效果。

Apr, 2019

本研究提出了针对视觉 Transformers 的二值化方法，其中包括了对 softmax attention 的优化，采用 Cross-layer Binarization 和引入可学习的通道缩放因子等技巧，最终实现了在 TinyImageNet 和 ImageNet 中超越现有技术并取得最佳效果。

Nov, 2022

本文综述了当前深度学习在计算机视觉中的多任务学习领域的最新研究进展，主要关注密集预测任务，从网络架构和优化方法两个角度进行了阐述和总结，旨在探讨多任务共享表示学习的优势和局限性。

Apr, 2020

本研究提出了一种名为 BiDet 的二值化神经网络学习方法，通过信息瓶颈原理的泛化，学习稀疏的物体先验，以消除信息冗余并改善误检测，从而实现高精度的物体检测。

Mar, 2020

本文介绍了一种针对图像超分辨率的新型二值扩散模型 ——BI-DiffSR，该模型利用改进的 UNet 架构进行二值化，并设计了一系列新的技术来增强模型性能和灵活性。实验结果表明，BI-DiffSR 在超分辨率任务中优于现有的二值化方法。

Jun, 2024

最近，深度神经网络在低光原始视频增强方面取得了出色的性能。然而，它们通常具有高计算复杂性和大内存成本，限制了在资源有限设备上的应用。本文探讨了将极其紧凑的二值神经网络（BNN）应用于低光原始视频增强的可行性，并解决了融合时间信息和二值卷积之间的性能差距问题。经过广泛的定量和定性实验，我们的高效二值化低光原始视频增强方法取得了令人满意的性能。

Mar, 2024

本研究提出了 BinaryDM，一种新颖的准确的量化感知训练方法，以将扩散模型的权重推向 1 位极限。使用 Learnable Multi-basis Binarizer (LMB) 来恢复二元化扩散模型生成的表示，并使用 Low-rank Representation Mimicking (LRM) 来提高二元化感知优化。通过渐进的初始化策略训练扩散模型，可以避免收敛困难。全面的实验证明，与超低位宽下的 DM 的 SOTA 量化方法相比，BinaryDM 在精度和效率上都取得了显著的改进。作为扩散模型的第一种二元化方法，BinaryDM 在具有 1 位权重和 4 位激活的情况下可实现 16.0 倍的 FLOPs 和 27.1 倍的存储节省，展示了其在资源有限场景中的巨大优势和潜力。

Apr, 2024