本文提出一种改进的二元转换器方法，通过引入一种新型的弹性二元激活函数、两种二元化方案以及一种逐步压缩高精度模型的方法，实现了在实际精度水平下的完全二元化转换模型，并在 GLUE 语义理解基准测试上取得了接近完全精度 BERT 基线的成果。

May, 2022

本论文提出了一种新颖的全二进制点云 Transformer（FBPT）模型，可以在机器人和移动设备领域得到广泛应用和扩展。通过将 32 位全精度网络的权重和激活压缩为 1 位二进制值，提出的二进制点云 Transformer 网络大幅减少了点云处理任务中神经网络模型的存储占用和计算资源要求。然而，实现全二进制点云 Transformer 网络（除了特定于任务的模块外其他部分均为二进制）在量化 Q、K、V 和自注意力模块中的激活时面临挑战和瓶颈，因为它们不符合简单的概率分布，并且可以随输入数据变化。本文主要关注解决二进制点云 Transformer 模块使用引起的性能下降问题，提出了一种名为动态 - 静态混合化的新型二值化机制，结合整体网络模型的静态二值化和数据敏感性组件的细粒度动态二值化方法。此外，我们还采用了新颖的分层训练方案来获得最佳模型和二值化参数。这些改进使得所提出的二值化方法在点云 Transformer 结构中优于应用于卷积神经网络的二值化方法。为了证明我们算法的优越性，我们在两个不同的任务上进行了实验：点云分类和位置识别。

Mar, 2024

本文提出了一种全二值化 BERT（BiBERT）模型，通过有效的双向 attention 结构来最大化表示信息的统计信息，并引入方向匹配蒸馏方案在 BERT 全二值化后准确优化，证明了比现有量化 BERT 性能更好，在计算资源有限的情况下可以显着节省 FLOPs（56.3 倍）和模型大小（31.2 倍）。

Mar, 2022

本研究提出了针对视觉 Transformers 的二值化方法，其中包括了对 softmax attention 的优化，采用 Cross-layer Binarization 和引入可学习的通道缩放因子等技巧，最终实现了在 TinyImageNet 和 ImageNet 中超越现有技术并取得最佳效果。

Nov, 2022

本文提出了一种基于多尺度跨度和二进制分多方式的 BP-Transformer 模型，该模型在处理长文本时性能优于之前的自注意力模型。

Nov, 2019

本文提出了一种新的二值化技术，基于一位权重和激活函数的 Transformer 应用于机器翻译，实验证明其可以达到与浮点型 Transformer 相同的质量，同时大小只有其 16 倍，并通过额外的 LayerNorms 和残差连接改进了二值化的质量。此外，作者在生产规模的翻译数据集上进行了一项标尺研究，表明一位权重 Transformer 在域内和域外环境下均具有可扩展性和良好的泛化效果。

Feb, 2023

通过使用预先在自然语言或图像数据上进行训练的 Transformer 模型，并通过最小修改进行微调，我们在时序预测任务上评估了 Frozen Pretrained Transformer (FPT) 的效果，并发现其性能在跨模态时序预测任务中可以与同模态微调相媲美甚至处于最前沿状态。

Feb, 2023

提出了一种不修改网络架构、参数高效、计算高效的模型无关机制 DP-BiTFiT，实现了对长序列和高分辨率图片的隐私保护微调，达到了 DP 算法的最高精度及标准微调的效率，其速度和内存使用量是 DP full fine-tuning 的 2-30 倍和 2-8 倍，使得现有隐私保护微调方法的计算难点得以攻克。

Sep, 2022

本研究探究了预先在自然语言处理上训练的 transformer 模型是否可以在最小化调整下进行泛化以适用于其他模式，并研究其在数字计算、视觉和蛋白质折叠预测等序列分类任务上的优化性能。结果表明，预训练模型对非语言下游任务的性能和计算效率都有积极作用。

Mar, 2021

BitNet 是一种可扩展且稳定的 1 位 Transformer 架构，用于大型语言模型，通过引入 BitLinear 作为 nn.Linear 层的替代方案，BitNet 可以从零开始训练 1 位权重，实验结果表明，与最先进的 8 位量化方法和 FP16 Transformer 相比，BitNet 在语言建模方面能够达到有竞争力的性能，同时大幅减少内存占用和能源消耗，此外，BitNet 表现出与全精度 Transformer 类似的扩展规律，说明它具有在保持高效和性能优势的同时，有效扩展到更大的语言模型的潜能。

Oct, 2023