该文章介绍了 PIXEL，一种基于像素的预训练语言模型，通过将文本渲染为图像，PIXEL 可以处理不同语言，特别是非拉丁文字。实验发现 PIXEL 在语法和语义处理方面表现优异，且对于噪声文本的输入更为稳健。

Jul, 2022

使用像素表示方法来训练多语言机器翻译模型，实现了与子字嵌入相媲美的性能，并发现像素表示具有无缝跨语言迁移和比扩展词汇等替代方法更高的数据效率

May, 2023

PIXAR 是第一个基于像素的自回归型语言模型，它不依赖预定义的词汇表，可以用于自由形式的生成任务，并与先前的编码器 - 解码器模型在文本表示学习性能方面保持一致。通过简单的对抗预训练，PIXAR 的可读性和性能得到了显着提高，使其在短文本生成任务上与 GPT2 具有相媲美的表现。这为构建可用于自由形式生成任务的开放式词汇语言模型铺平了道路，并对这些具有挑战性的任务中通常的符号输入表示（文本作为标记）的必要性提出了质疑。

Jan, 2024

本研究探讨了影响当前图像生成模型难以可靠地生成良好文本图像的主要因素：流行的文本到图像模型缺乏字符级输入特征，这使得更难以预测一个单词的视觉构成为一系列字形。通过对比具有字符感知的与不具有字符感知的文本编码，我们在文本域内发现字符感知的模型在拼写任务上提供了巨大的收益。转化这些经验到图像领域，我们训练了一套图像生成模型，并表明在一系列的新文本渲染任务（我们的 DrawText 基准测试）上，字符感知的变体优于其字符盲的对手。尽管训练样本数量少得多，我们的模型在视觉拼写上设置了更高的最新水平，在罕见单词上比竞争对手多 30 多个点的准确率提升。

Dec, 2022

对于像素级语言模型，本论文介绍了一种新颖的预训练框架，通过在超过 4 亿个文档渲染的 RGB 图像上预训练，采用双模态训练方案，结合视觉数据和文本数据，通过下一个块预测和分类头预测进行训练，并展示了将视觉和文本数据结合的潜力及有效性。

Apr, 2024

我们提出了一种新颖的 Patch-and-Text Prediction (PTP) 目标函数，通过掩盖和恢复截图中的图像块和文本，改善了截图语言模型的文本能力，并通过在 GLUE 任务上获得与 BERT 相当的性能（在 2% 之内）以及高达 8% 的改进，证明了所提出模型的有效性。

Feb, 2024

本文提出了使用视觉文本表示（visual text representations）替代有限的文本嵌入向量（finite set of text embeddings），以建立起使用连续词汇（continuous vocabularies）的翻译模型，以此提高模型的稳健性减少了噪声对模型的影响。实验证明，使用视觉文本表示的模型在小型和大型数据集上实现了与传统文本模型相当或更好的表现。

Apr, 2021

本文探讨了两种使用颜色来理解文本模型的技术，一种方法是使用文字注释来说明模型对特定文档中特定标记的理解，另一种方法是使用高级的 “像素化文字” 图形来展示整个文集。这些方法一起提供了模型对文本理解的缩小和放大的视角。我们展示了这些相互关联的方法如何帮助诊断分类器在 Twitter 俚语上表现差，并理解历史政治文本上的主题模型。

Jun, 2016

Pixel-BERT 是一种多模态的深度转换器，可以通过使用图像和文本数据对其进行联合学习，从而在像素和文本级别上进行语义连接，实现视觉和语言任务的更准确和彻底的连接，并解决了视觉任务中语义标签不平衡的问题。

Apr, 2020

通过图像化表格在表格到文本任务中的表现，本文证明图像化表格比典型的文本线性化更具空间效率，多模态方法在表格到文本任务中具有竞争力，并且在未知数据集中具有更好的泛化性能。此外，作者引入了一种新的中间训练课程以增强对表格结构的感知，从而提高模型的生成和整体可信度。

Nov, 2023