CDistNet: 感知多域字符距离以增强文本识别鲁棒性

Nov, 2021

CDistNet: 感知多域字符距离以增强文本识别鲁棒性

CDistNet: Perceiving Multi-Domain Character Distance for Robust Text Recognition

Tianlun Zheng, Zhineng Chen, Shancheng Fang, Hongtao Xie, Yu-Gang Jiang

TL;DR本文提出了一种名为 MDCDP 的模块，通过引入注意机制，利用位置编码查询视觉和语义特征，融合两种受约束特征以产生加强的特征，生成良好的内容感知嵌入，能够很好地感知字符之间的间距变化和语义亲和力。通过将多个 MDCDP 堆叠以引导逐渐准确的距离建模，成功构建了特征 - 字符对齐，解决了在文本识别中出现的各种困难问题。我们在两个增强数据集和六个公共基准上进行了实验，结果表明 CDistNet 在具有挑战性的识别场景中大幅优于最近的热门方法，也在标准基准上取得了最新的准确性。此外，可视化结果表明 CDistNet 在视觉和语义领域都实现了合适的信息利用。

Abstract

The transformer-based encoder-decoder framework is becoming popular in scene text recognition, largely because it naturally integrates recognition clues from both visual and semantic domains. However, recent studies show that the two kinds of clues are not always well registered and th

scene text recognition transformer-based encoder-decoder framework positional encoding multi-domain character distance perception cdistnet

发现论文，激发创造

聚焦于整个字符：场景文本识别的辨别性字符建模

通过引入 Character-Aware Constraint Encoder (CACE) 和 Intra-Inter Consistency Loss (I^2CL) 的方法，本研究提出了一种新颖的方法来增强字符的可区分性，提升了场景文本识别模型的性能。

Jul, 2024

多域文本分类的鲁棒对比对齐方法

该研究提出了一种旨在通过监督对比学习将多个领域的文本分类特征对齐到同一特征空间中的稳健对比对齐方法，以实现多领域文本分类，消除了新兴领域增多带来的效率低下问题，从而只需两个通用特征提取器。实验结果表明，该方法在多个领域中效果良好。

Apr, 2022

跨域相关性蒸馏：用于夜晚语义分割的无监督域自适应

本研究提出了一项通过交叉域相关性蒸馏的新颖域适应框架，称为 CCDistill，旨在充分利用两个图像之间的不变性，从而弥补夜间图像标签缺乏的不足，并实现了夜间语义分割的最先进性能。

May, 2022

DECDM：利用循环一致性扩散模型进行文档增强

基于扩散模型的光学字符识别（OCR）在自动文档处理和文档智能方面对文档图像质量非常依赖，研究提出了一种新的端到端文档级图像转换方法 DECDM 来解决现有方法的数据分离和隐私保护问题，该方法通过独立训练源和目标模型，消除了配对训练的限制，提高了性能的数量和质量的比较。

Nov, 2023

通过协调域编码器和匹配分类器的多源域自适应

提出了一种新颖的多源自动未标注模型，可在领域转移下进行文本分类。

Jan, 2022

多域文本分类的双对抗协同学习

本文提出了一种新颖的双对抗协同学习方法，用于多领域文本分类，该方法利用共享 - 私有网络进行特征提取，并在不同域和标签与未标签数据同时下采用双重对抗正则化来对齐特征，并旨在通过所学习的特征来提高分类器的泛化能力。我们在多领域情感分类数据集上进行了实验，结果表明所提出的方法达到了目前最先进的多领域文本分类性能。

Sep, 2019

双层协作变压器用于图像字幕生成

本研究提出一种新型双层协作变换器（DLCT）网络，结合传统网格特征和目标检测网络提取的描述性区域特征，利用双向自注意力和局部约束交叉关注模块来加强区域和网格特征间的语义语境关系，进一步提高图像字幕生成的性能，并在 MS-COCO 数据集上达到新的最先进性能。

Jan, 2021

通过多模态特征对鲁棒领域虚假信息检测

社交媒体误导信息对个人和社会有害，并且多模态内容（即文本和图像）使其更具 “可信度”，高于仅有文本的新闻报道。我们提出一种新颖的鲁棒领域与多模态方法（RDCM），用于多模态误导信息的检测，通过领域内对齐模块降低领域漂移，并通过跨模态对齐模块弥合两种模态之间的语义差距。在两个公开的多模态误导信息检测数据集（Pheme 和 Twitter 数据集）上的评估结果证明了该模型的优越性。

Nov, 2023

基于变压器的域外检测中的马氏距离再审视

本文研究了识别出领域外意图的方法，通过对多种上下文编码器和方法进行对比发现，在只使用领域内数据的情况下，基于 Transformer 的编码器 fine-tuning 可以实现更好的性能，而 Mahalanobis 距离与来自 Transformer-based 编码器的话语表示相结合的方法在这方面表现优异

Jan, 2021

多领域文本分类的正则化条件对齐

我们提出了一种称为正则化条件对齐 (RCA) 的方法，通过对领域和类别的联合分布进行对齐，来匹配相同类别中的特征并增强获取的特征的判别能力，同时还利用熵最小化和虚拟对抗训练来限制未标记数据的预测不确定性并增强模型的鲁棒性。在两个基准数据集上的实证结果表明，我们的 RCA 方法优于最先进的多领域文本分类技术。

Dec, 2023