对视觉 - 语言模型的测试时间适应性策略进行系统探索，包括提示工程策略和现有的测试时间适应方法，以提高模型在真实场景中的适应性和鲁棒性。

May, 2024

该研究旨在解决文档中的文本识别的泛化和灵活性问题。该研究提出了一种新模型，通过利用语言中字符的重复性，将文本识别转化为形状匹配问题，从而实现了外观的泛化和分类的灵活性。该模型可以解决传统架构无法解决的挑战，并在不同字母表的合成和真实数据集上进行了评估，得到了显著的改进。

Sep, 2020

为了使现有的视觉模型适应于不同的下游场景，本文探讨了在线测试时间自适应方法在各种真实世界场景下的表现，并针对该方法的局限性提出了一种特别保守的方法 —— 使用 LAME 目标来解决问题，并通过高效的凸凹过程求解该目标，从而使其在场景中表现更佳。

Jan, 2022

我们提出了一个创新框架，用于在开放和动态环境中解决单图测试时间适应的现实挑战。我们利用大规模视觉语言模型（如 CLIP）在没有源数据或准确标签的情况下，实现了对每个图像的实时自适应。我们首先使用一个简单而有效的 OOD（外分布）检测模块区分弱 OOD 样本和强 OOD 样本，以应对部署模型可能遇到的未知类别。通过利用小而动态更新的特征库，我们提出了一种基于对比学习的目标函数，增强了弱 OOD 样本和强 OOD 样本之间的可区分性。最后，我们还使用可靠的弱 OOD 样本来实现模型的分类自适应。提出的 ROSITA 框架将这些组件结合起来，实现了视觉语言模型的连续在线自适应，且适用于单个图像。通过对不同领域自适应基准的广泛实验，验证了该框架的有效性。我们的代码可以在项目网址中找到（链接已省略）。

Jun, 2024

本文提出一种无监督的写手适应方法，使用合成字体完全训练出的识别器自动适应新的入职写手，从而提供了一种实用且通用的方法来处理新的文档收集，而不需要任何昂贵和繁琐的手动注释步骤。

Sep, 2019

本文提出一种将卷积神经网络和序列到序列模型相结合，将图像映射到文本序列，实现手写文本识别能力，且采用 Focal Loss 方法解决文本识别的类别不平衡问题，并应用 Beam Search 算法来提升模型的解码性能，在常见的 IAM 和 RIMES 数据集上实验表明，本文提出的模型在词级别的准确率方面分别提高了 3.5％和 1.1％，达到了国际先进水平。

Jul, 2018

本研究主要解决将手写文本识别能力添加到大规模多语言 OCR 系统中的难点，包括数据获取，效率和集成等三个方面，通过使用在线手写数据集和基于神经网络的线识别模型等方式解决了这些问题，实现了 HTR 能力在 OCR 系统中的集成。

Apr, 2019

使用变形金刚模型的多头自我注意力层，无需回归方法且具有超出预定义词汇表的单词识别能力，能实现很高的手写识别精度，即使在少量样本学习情况下也可取得满意的结果。

May, 2020

提出了一种名为 TextNet 的端到端训练网络结构，能够同时从图像中定位和识别不规则文本，并通过设计的多任务损失函数实现端到端的文本定位和识别任务。实验结果显示，所提出的 TextNet 在标准基准上取得了最先进的性能，并且在不规则数据集上优于现有方法。

Dec, 2018

大规模语言模型在很多语言任务上取得了最先进的性能。然而，它们在针对对抗性语言示例时失败了，这些句子被精心优化以欺骗语言模型，但对人类来说具有类似的语义意义。我们的方法可以动态地适应输入句子并使用屏蔽词的预测结果，从而修复许多语言对抗攻击，而不需要任何训练。在两个流行的句子分类数据集上进行的可视化和实证结果表明，我们的方法能够修复超过 65% 的对抗性语言攻击。

Oct, 2023