本研究提出了一种解决 Charformer 在 Transformer 解码器中信息泄漏问题的方法，从而实现字符分组。研究发现 Charformer 的下采样在 NMT 中的翻译质量没有明显的优势，但训练速度可以提高 30%，在英––土耳其翻译中表现优异，表明字符级模型在形态丰富的语言中具有潜在的优势。

May, 2022

实现字符级别的 Transformer 架构通常需要非常深的架构，难以训练。本文提出一种通过在模型中将分词与字元结合进行初步训练，然后在字符级别上调整，从而实现不需要分词的神经机器翻译模型的方法，并且展示了这种方法更好地捕捉了语言形态现象和更加健壮，训练的代价相对较小。

Apr, 2020

本文提出了一种 Slow-Fast 双流学习模型 ——TranSFomer，将细粒度字符级特征与多尺度 Transformer 结合，显著提高了机器翻译 BLEU 指标。

May, 2023

本文针对机器翻译中常用的子词级神经网络模型提出了基于字符级翻译的 Transformer 模型，实验证明所提出的模型在训练效率和翻译质量方面是优于先前的字符级模型且与子词级模型相当的，代码和模型已经公开发布。

May, 2020

我们提出了第一个针对 transformer 模型的字符级白盒对抗攻击方法。我们的方法主要包含三个步骤：选择最脆弱的单词，将其拆分成次标记，以及使用适当的替换次标记。我们的实验结果表明，与先前的攻击方法相比，我们的方法在成功率和编辑距离方面都有更好的表现。

Oct, 2022

本文研究了基于字节级别文本的 Transformer 架构，相比于基于词或子词的标准模型，该模型可处理任何语言的文本，更加稳健且精度更高，并开源了基于 T5 架构的预训练模型及所有实验所用代码和数据。

May, 2021

该论文提出了一种新的方法 Byte2Word，通过引入交叉注意力网络建立单词级别的表示，并基于单词级别的隐藏状态进行子词级别的预测，从而实现了更精简的输入嵌入方式，同时在语言模型和文本分类上表现出与强大的基准模型 BERT 相当的性能。

Nov, 2022

SubFormer 是一种图变换器，通过消息传递机制对子图进行操作，减少了标记数量，增强了学习长距离交互的能力。在预测分子属性和化学结构方面，SubFormer 与最先进的图变换器相比，在计算成本的一小部分情况下保持着竞争力，并且在消费级显卡上进行训练的时间仅为几分钟。我们通过对化学结构的注意权重进行解读，展示了 SubFormer 表现出有限的过度平滑和避免了传统图神经网络常见的过度压缩问题。

Oct, 2023

为了利用中文语言系统中存在的字符下的语言信息，我们提出了一种基于 SubChar (即 SubCharacter) 的分词方法，该方法通过将每个汉字转换为一个基于其字形或发音的短序列，再基于编码后的文本进行子词分割来构建词汇表，实验结果表明 SubChar 的分词器相比现有分词器有两个主要优势：它们可以将输入标记为更短的序列，从而提高计算效率；以发音为基础的 SubChar 分词器可以将中文同音字编码为相同的音译序列并产生相同的标记化输出，从而具有抗同音错误的鲁棒性。

Jun, 2021

本文提出了一种预训练的字形模型 GBERT，通过两种方法将其融合到基于 Transformer 的 G2P 模型中，实验证明了该模型在 SIGMORPHON 2021 G2P 任务的中低资源数据情况下的有效性。

Jan, 2022