用掩码实现的语义数据压缩方法 —— 填字游戏

Apr, 2023

用掩码实现的语义数据压缩方法 —— 填字游戏

Crossword: A Semantic Approach to Data Compression via Masking

Mingxiao Li, Rui Jin, Liyao Xiang, Kaiming Shen, Shuguang Cui

TL;DR该研究侧重于英文文本，并利用其语义方面进一步改进压缩效率，主要思想源于填字游戏，即通过某些关键字母提供，即使隐藏的单词具有语义学特征，也可以被精确地重构，并提出了一种类似游戏的基于掩码的策略，编码器评估每个单词的语义重要性，然后掩盖较小的单词，目标解码器则通过使用 Transformer 中的语义上下文来恢复被掩盖的单词。实验证明，所提出的语义方法比传统方法如霍夫曼码和 UTF-8 代码可以更好地保留目标文本的含义，同时实现更高的压缩效率。

Abstract

The traditional methods for data compression are typically based on the symbol-level statistics, with the information source modeled as a long sequence of i.i.d. random variables or a stochastic process, thus establishing the fundamental limit as entropy for lossless compression and as

data compression semantic aspect masking-based strategy transformer compression efficiency

发现论文，激发创造

语义文本压缩分类

我们研究了文本的语义压缩，其中文本中包含的含义被传达给源编码器，例如用于分类。我们提出了一种利用句子嵌入和语义失真度量来保持含义的语义量化和压缩方法。我们的结果表明，与语义不可知基线相比，所提出的语义方法在所需消息表示的比特数量方面节省大量资源，仅以非常适度的准确性损失为代价。我们比较了所提出方法的结果，并观察到语义量化所实现的资源节省可以通过语义聚类进一步增强。重要的是，我们观察到所提出方法的普适性，其在许多基准文本分类数据集上都获得了出色的结果，涵盖了多样化的环境。

Sep, 2023

基于 Transformer 的端到端语音识别语义掩码

提出了一种基于语义掩蔽的正则化方法，使用注意力机制的编解码器模型，以及 transformer-based 模型，以提升 E2E 模型的训练效果。通过实验验证，在 Librispeech 960h 和 TedLium2 数据集上取得了 E2E 模型领域的最新性能。

Dec, 2019

大型语言模型的语义压缩

本研究探讨了大型语言模型在近似压缩和语义压缩方面的应用及其效果评价，并提出了二元评价指标：是否精确重构 (ERE) 和语义重构有效性 (SRE)，结果表明 GPT-4 可能有效地压缩和重构文本，并保留原始文本的语义要素。

Apr, 2023

变压器辅助的语义通信

通过使用 transformer 结构进行特征提取，以实现图像压缩和紧凑表示，从而优化语义通信的质量和带宽利用效率。

May, 2024

极端学习图像多模态深度网络压缩

本文提出了一种文字引导图像压缩的多模态机器学习方法，通过使用文本的语义信息来引导图像压缩，以实现更好的压缩性能，包括采用图像 - 文本注意力模块和改进的多模态语义一致性损失函数。实验证明，该方法能够在极低比特率下获得较好的视觉效果，并且即使与最先进的技术相比，其性能也可以相媲美或超越。

Apr, 2023

利用合作的跨模态侧面信息的知觉图像压缩

本文介绍一种利用文本引导辅助信息的创新深度图像压缩方法，通过预测语义掩码，将文本和图像特征融合，设计了条件生成对抗网络以改进重建图像的感知质量，并在四个数据集和十个图像质量评估指标下证明了该方法在速率感知性能和语义失真方面的优越结果。

Nov, 2023

具有遮蔽 VQ-VAE 代码本的健壮语义通信

本文研究语义传播中的噪声问题，提出了一个新方法，通过对称重扰动、屏蔽关键特征和选择重要特征等方式，提高了语义通信系统的鲁棒性和噪声容忍度。

Jun, 2022

基于遮蔽语言建模的可逆文本数据隐藏通用框架

本文提出了一个基于掩蔽语言模型的通用框架，将秘密信息嵌入给定的覆盖文本中，嵌入的信息和原始覆盖文本可以从标记文本中完美地恢复。实验结果表明，所提出的方法具有良好的安全性和语义质量，可应用于许多领域，包括信息隐藏和自然语言处理。

Jun, 2022

基于 Transformer 的文本语义通信的联合源信道编码

本文提出了一种文本语义传输框架，利用先进的自然语言处理技术对句子进行建模和编码，以实现鲁棒传输。该方法利用神经网络和注意机制在具有挑战性的无线环境中提供可靠高效的文本数据传输，通过对语义相似性和双语评估的模拟结果证明了该模型的优越性。

Jul, 2023

言语内容屏蔽的探索性评估

最近的语音隐私研究主要集中在匿名化声学说话者属性，但对于保护语音内容的信息研究较少。本文引入了一个玩具问题，探讨了一种被称为 “内容隐藏” 的新型隐私保护方法，该方法隐藏了语音中的选定单词和短语。通过改变预训练的向量量化变分自编码器（VQ-VAE）生成的离散电话表示（电话代码）序列并通过 WaveRNN 重新合成的方法，我们评估了一个基准掩码技术。我们对三种不同的掩码位置和三种掩码策略进行了研究：噪声替换、单词删除和电话序列反转。我们着重研究了掩码对自动语音识别（ASR）和自动说话者验证（ASV）这两个后续任务的影响，并讨论了如何影响隐私目标的这些问题。

Jan, 2024