基于小型语言模型的语义文本传输：成本 - 相似性权衡

Mar, 2024

基于小型语言模型的语义文本传输：成本 - 相似性权衡

Semantic Text Transmission via Prediction with Small Language Models: Cost-Similarity Trade-off

Bhavani A Madhabhavi, Gangadhar Karevvanavar, Rajshekhar V Bhat, Nikolaos Pappas

TL;DR通过语言模型和预测算法，在噪声信道下进行自然语言文本的通信，探讨传输成本和语义相似性之间的关系。在噪声信道下，所有预测算法和调度策略表现不佳，但使用字符级霍夫曼编码可以降低所需传输成本。

Abstract

We consider the communication of natural language text from a source to a destination over noiseless and character-erasure channels. We exploit language's inherent correlations and predictability to constrain transmission costs by allowing the destination to predict or complete words w

communication language models transmission cost semantic similarity character-erasure channel

发现论文，激发创造

最小通信成本的统计学习

本文提出了一种联合训练和源编码方案，具有可验证的期望保证，通过在条件分布和先验之间施加适当的 Kullback-Leibler 散度约束，同时保证了小的平均经验风险（即训练损失），小的平均泛化误差和小的平均通信成本。

Jun, 2024

基于 Transformer 的文本语义通信的联合源信道编码

本文提出了一种文本语义传输框架，利用先进的自然语言处理技术对句子进行建模和编码，以实现鲁棒传输。该方法利用神经网络和注意机制在具有挑战性的无线环境中提供可靠高效的文本数据传输，通过对语义相似性和双语评估的模拟结果证明了该模型的优越性。

Jul, 2023

考虑语义模糊性和信道噪声的实时语义沟通的潜在扩散模型

该研究基于潜在扩散模型构建了一种语义交流系统，并通过三项改进，即异常值鲁棒编码器、轻量级单层潜在空间转换适配器和端到端一致性精炼策略，证明了该系统对异常值的稳健性、在未知分布数据传输中的适应能力以及保持高人类感知质量的实时信道去噪任务能力，优于现有的去噪方法。

Jun, 2024

基于语义感知的多个马尔可夫源在约束下的远程估计

该研究利用平均成本约束马尔可夫决策过程理论和 Lagrangian 动态规划，探索了在有损且受速率限制的通道上进行多个马尔可夫源的远程估计的语义感知通信；通过使用结构优化结果和开发新的策略搜索算法，可以最小化长期状态依赖成本和估计误差；为了避免马尔可夫决策过程的维度问题，提出了基于 Lyapunov 优化定理的在线低复杂度 Drift-plus-Penalty 调度算法。

Mar, 2024

神经机器翻译的简单而有效的噪声信道建模

本文探讨了基于标准序列到序列模型的神经嘈杂信道建模方法，实验结果表明这种方法在四个语言对的翻译任务中表现优异，尤其在 WMT'17 的德英翻译任务中，其 BLEU 分数比直接模型高出 3.2 分。

Aug, 2019

语义通道均衡器：多用户语义通信中的语言不匹配建模

本篇论文探讨了多用户语义通信系统中由于不同语言导致的语义干扰问题，并提出了一种新的语义通道均衡器来解决这个问题。实验结果表明，该语义通道均衡器在操作复杂度和传输准确性方面优于传统方法。

Aug, 2023

通过注入字符级噪声改善密切相关语言之间的零样本跨语言转移

通过在高资源语言中增加字符级噪音，我们提出了一种简单而有效的策略，以增强密切相关的语言之间的跨语言转移，从而提高 POS 标记和主题识别等任务的零样本转移能力。

Sep, 2021

基于分布的阈值确定句子相似性

通过使用孪生架构的神经网络，找到相似和不相似句子之间的距离分布，以及区分相似和不相似句子的阈值，并结合距离函数和分布特征进行预测评分，将结果推广到更广泛的领域。

Nov, 2023

面向语言的图像传输的语义潜空间表示

基于语言的语义通信框架通过语言 - 图像编码和图像 - 语言解码，以及潜在扩散模型，实现了在嘈杂通信渠道中以较高的感知相似度重建预期图像的能力。

May, 2024

风格转移和改写：寻找合理的语义相似性度量

本文分析了超过十余种测量两个短文本的语义相似性的方法，并使用一个新的标记为语义相似性的 14,000 句子数据集证明文献中使用的这些度量标准都不能够足够接近人的判断。虽然有一些最近提出的度量标准提供了具有可比性的结果，但 Word Mover Distance 被证明是目前测量改写文本的语义相似性的最合理的解决方案。

Apr, 2020