文本压缩辅助下的 Transformer 编码

Feb, 2021

Text Compression-aided Transformer Encoding

Zuchao Li, Zhuosheng Zhang, Hai Zhao, Rui Wang, Kehai Chen...

TL;DR本文提出了显式和隐式文本压缩方法来增强 Transformer 编码，并用这种方法评估了多个依赖于编码的典型下游任务的模型。我们提出了三种方式的集成，即骨干源侧融合，目标侧融合和双侧融合，以便于变压器基于模型集成骨干信息的各种下游任务中。与强基线相比较，我们的显式和隐式文本压缩方法改善了结果，我们认为文本压缩有助于编码器学习更好的语言表示。

Abstract

text encoding is one of the most important steps in Natural Language Processing (NLP). It has been done well by the self-attention mechanism in the current state-of-the-art transformer encoder, which has brought

text encoding natural language processing transformer encoder text compression approaches language representations

发现论文，激发创造

神经机器翻译的显式句子压缩

该研究提出了一种明确的句子压缩方法来增强源句子对于 NMT 的表征，包括背景信息，提出三种整合压缩句子到 NMT 的方法，并在 WMT 英法和英德翻译任务上进行实验测试，结果显示该压缩方法显著提高了翻译表现。

Dec, 2019

文本深度学习模型压缩综述

本文综述了近年来自然语言处理和信息检索领域的深度学习模型在压缩方面的六种方法，并探讨了构建高效、小型模型的重要性以及相关研究成果。

Aug, 2020

重新审视脱机压缩：超越基于分解的方法，针对 Transformer 语言模型

本篇文章旨在探讨离线压缩方法，并提出了一种基于自编码器的新框架，旨在压缩 transformer 语言模型。实验证明，启用模块间的协作并使用所提出的方法能够显著提高模型性能。

Feb, 2023

Transformer 压缩综述

在该研究中，作者通过综述了解压缩方法对 Transformer 模型在自然语言处理和计算机视觉领域的应用，并对修剪、量化等压缩方法进行了分类和讨论。

Feb, 2024

利用预训练语言模型生成通用文本嵌入以实现可扩展推断

研究使用共享文本编码器实现多任务推理以及使用二进制量化减少数据存储大小的方法，证明预训练的编码器在多个任务上表现的泛化性好。

Apr, 2020

变压器辅助的语义通信

通过使用 transformer 结构进行特征提取，以实现图像压缩和紧凑表示，从而优化语义通信的质量和带宽利用效率。

May, 2024

基于文本引导编码的神经图像压缩方法：兼顾像素水平和感知保真度

近期在文本引导的图像压缩方面的研究取得了巨大潜力，能够增强重构图像的感知质量，但这些方法往往在像素级保真度方面明显降低，限制了它们的实用性。为了填补这一空白，我们开发了一种新的文本引导图像压缩算法，实现了高感知和像素级保真度，该压缩框架主要通过文本自适应编码和联合图像 - 文本损失的训练来利用文本信息。通过这样做，我们避免了基于文本引导生成模型的解码，这种模型以高度生成多样性著称，并有效地利用了文本的语义信息。各种数据集上的实验结果表明，我们的方法在像素级和感知质量方面均可达到较高水平，无论是人类生成的标题还是机器生成的标题。特别地，在与其他基准方法相比的 LPIPS 方面，我们的方法表现出色，并且在使用更加精心生成的标题时，仍有进一步提高的空间。

Mar, 2024

压缩基于 Transformer 的自监督模型用于语音处理

本文旨在探讨通过多种压缩技术（如剪枝和知识蒸馏）来减小基于 Transformer 的自监督模型的计算复杂度，以适应不同设备的应用场景，并通过比较参数数量、操作数和时间等指标，综合分析这些技术的优劣。

Nov, 2022

基于 Transformer 的大规模模型压缩：以 BERT 为例的案例研究

本文总结了压缩预训练 Transformer 模型的研究进展，尤其关注流行的 BERT 模型的最佳压缩实践和方法，提出未来发展的方向，以达到轻量、高准确性和通用性的自然语言处理模型。

Feb, 2020

使用预训练编码器进行文本摘要

本研究展示了 BERT 如何在文本摘要中有用地应用，并提出了一种通用的框架，包括抽取式模型和生成式模型。在此框架下，我们引入了一种新的基于 BERT 的文档级编码器，该编码器能够表达文档的语义并获取其句子的表示，通过堆叠多个 Transformer 层来构建我们的抽取式模型，对于生成式摘要，我们提出一种新的微调策略，以解决编码器和解码器之间的不匹配问题，并演示了两阶段微调方法可以进一步提高生成摘要的质量。在三个数据集上的实验表明，我们的模型不仅在抽取式设置下，在生成式设置下也达到了最先进的水平。

Aug, 2019