May, 2024

利用嵌入向量提升细粒度格式分类的语义分割遮罩

PDF
TL;DR为了解决大规模历史文档分类的困难，我们提出了一种融合语义分割和深度学习模型的表征学习策略，通过 ResNets、CLIP、文档图像变换器（DiT）和掩码自编码器（MAE）来生成能够捕捉文档特征的嵌入，而无需预定义标签。我们还贡献了两个新颖的数据集 -- 法国 19 世纪和美国 1950 年人口普查记录 -- 来验证我们的方法。结果显示，这些不同的嵌入技术在区分相似文档类型方面的有效性，并且应用语义分割可以显著改善聚类和分类结果。
categorizationhistorical documentsrepresentational learningsemantic segmentationembedding techniques
发现论文，激发创造
  • 从显式类嵌入的角度提升语义分割

    本文提出了 ECENet，它是一种新的分割范式，通过在与多阶段图像特征交互过程中显式地获得和增强类别嵌入，探索了传统解码过程并探索了分割掩模和类别嵌入之间的反向信息流，同时通过特征重建模块来确保骨干中特征的可区分性和信息丰富度，实验结果表明我们的 ECENet 在 ADE20K 数据集上的性能优于其他模型，且计算成本较低，在 PASCAL-Context 数据集上实现了新的最先进结果。

    Aug, 2023

  • NewsEmbed: 预训练文档表示模型对新闻进行建模

    本文提出了一个新颖的方法，使用少量人为监督来挖掘具有语义相关性的新鲜文档及其主题标签，并设计了一个多任务模型 - NewsEmbed，交替使用对比学习和多标签分类来推导通用文档编码器，在多个自然语言理解任务中实现了出色的性能表现。

    Jun, 2021

  • 语义嵌入式深度神经网络：提升多标签图像分类性能的通用方法

    本文介绍了一种使用语义嵌入深度神经网络，采用基于空间感知语义特征和通道注意力模型的方法来提高多标签预测模型性能的方法。实验证明，与基线方法相比，该方法平均相对改进 15.27％，在 Instagram 时尚服装图像上进行了多标签时尚属性分类的核心实验和消融研究，并将模型性能与我们的方法进行比较，发现我们的方法性能更优秀。

    May, 2023

  • 自监督遮蔽数字高程模型编码用于低资源下游任务

    利用自我监督学习方法，通过预训练的遮蔽自动编码器在 Digital Elevation Models 上提取建筑物和道路分割，有效利用有限的标注数据，为地表变化频繁的任务提供数据高效的学习器。

    Sep, 2023

  • 概念掩模：基于语义概念的大规模分割

    本论文提出了一种新的基于弱监督和半监督框架的语义分割系统，可以处理包括对象、部分、杂物和属性在内的无限数量的概念，通过训练深度神经网络，产生视觉 - 语义嵌入，在完全注释的数据集上训练注意力驱动类无关分割网络。

    Aug, 2018

  • 基于自然语言的语义分割

    LSeg 是一种用于语言驱动语义图像分割的新模型，使用文本编码器计算输入标签的嵌入，和基于 transformer 的图像编码器计算输入图像的嵌入，实现像 “草” 或 “建筑” 这样描述性的输入标签的密集像素嵌入，该模型利用语义类相应的文本嵌入与像素嵌入各自计算来训练图像编码器，实现了在测试阶段对未曾见过的类别进行泛化而不需要重新训练或仅需要单个样本的训练，且具有高度竞争的零 - shot 性能。

    Jan, 2022

  • 学习无监督语义文档表示以进行细粒度的基于方面的情感分析

    本文提出了一个模型，克服了顺序和非顺序方法所遇到的困难，在情感分析任务和细粒度的基于方面的情感分析上取得了显著的优越性能。

    Jan, 2024

  • 精细图像分类的输出嵌入评估

    本文研究了基于图像和类别嵌入来实现零样本学习，使用无监督学习得出的输出嵌入方法可达到比之前任何监督方法表现更好的分类效果，从而大大降低了对于细分类别标注数据的需求。

    Sep, 2014

  • SemMAE：用语义引导的遮蔽训练自编码器

    本文提出了一种 Semantic-Guided Masking 策略，通过引入语义部分将语义信息集成到 MAE 训练过程中，以学习更好的图像表示。该训练方法在各种视觉任务中都可以表现出色，特别是在 ImageNet-1k 中实现了 84.5% 的细调准确度，比基本 MAE 高 1.4%。

    Jun, 2022

  • 利用分层语义嵌入进行精细化表示学习和识别

    通过 Hierarchical Semantic Embedding (HSE) 框架在深层神经网络中整合不同层级的类别预测，从而实现对复杂图像的精细分类，该方法优于基线模型和现有竞争对手，可以应用于精细图像识别领域。

    Aug, 2018