Nov, 2023

跨异构特征空间的表格式少样本泛化

PDF
TL;DR对于标签数据集，目前还未深入探索少样本学习。现有的少样本学习方法不适用于标签数据集，因为其存在不同的列关系、意义和排列不变性。为了解决这些挑战，我们提出了一种名为 FLAT 的新型标签少样本学习方法，涵盖了异构特征空间下数据集之间的知识共享。利用 Dataset2Vec 启发的编码器，FLAT 学习了数据集和其各个列的低维嵌入，从而促进了对以前未见过的数据集的知识传递和泛化。一个解码器网络对预测目标网络进行参数化，作为图注意网络的实现方式，以适应标签数据集的异构性质。对 118 个 UCI 数据集进行的实验证明了 FLAT 在新的标签数据集上的成功泛化，并且相对于基准模型有了显著的改进。
发现论文，激发创造
  • TablEye: 透过图像镜头看小型表格

    本文介绍了一种名为 TablEye 的创新框架，通过采用域转换来克服形成表格数据的先验知识的限制，它通过生成表格图像有效地保留原始表格数据的内在语义，并利用共享数据域来获取和应用先验知识。TablEye 在 4-shot 任务中超过了 TabLLM，最大 AUC 为 0.11，以及在 1-shot 环境中引领了平均 3.17％的准确度。

    Jul, 2023

  • TabLLM：基于大型语言模型的小样本表格数据分类

    通过将表格数据序列化为自然语言字符串和分类问题简述作为输入，使用大型语言模型进行零样本和小样本分类数据的研究，并评估了几种序列化方法，发现这种方法在多个基准数据集上优于以前的深度学习分类方法。

    Oct, 2022

  • LaTable: 大型表格模型的探索

    构建更好的零样本和少样本生成能力的生成式表格基础模型 LaTable 在有限样本的条件下，在实例内分布生成方面胜过基线，并在生成超出分布的数据集时表现更好。

    Jun, 2024

  • 基于视频检索和特征生成的通用 Few-Shot 视频分类

    本研究提出通过使用 3D CNN 学习视频空时特征并在基类上 fine-tuning 分类器来解决 few-shot video classification 问题，其表现超过现有基准测试的先前方法 20 点以上，同时提出了利用标签检索和生成式对抗网络生成视频特征的方法，以更好地应对无标签示例的需求，并使用更具挑战性的基准数据集对模型进行了评估。

    Jul, 2020

  • RelationNet2: 基于深度比较的列类型用于 Few-Shot 学习

    本论文提出了一种深度比较网络，它由嵌入和关系模块组成，学习同步基于不同抽象级别的多个非线性距离度量，从而实现了优异的 few-shot 图像分类性能。

    Nov, 2018

  • 同调卷积神经网络

    通过在稀疏的表格数据中利用拓扑约束网络表示结构，我们提出了一种新颖的深度学习架构，利用卷积提取空间信息，并通过网络拓扑的有限概念来确保数据导向、可解释性和可扩展性，在 18 个基准数据集上测试表明，我们的方法在这些具有挑战性的数据集上达到了最先进的性能。

    Aug, 2023

  • 超参数优化中基于编码器的预热方法的再思考

    这项研究提出了一种基于编码器的异构表格数据表示方法，它通过自动提取重要的元特征来代替以往依赖预定义的元特征的方法，该方法在整合数据集和超参数优化暖启动等两个常见元任务中与 Dataset2Vec 和 liltab 在元 MIMIC 数据集上的评估显示了表示学习中细微挑战的存在。

    Mar, 2024

  • 少样本分类中的泛化思考

    通过将输入样本分割成补丁，并借助 Vision Transformers 对其进行编码，从而在图像的局部区域之间建立语义对应关系，而不受其各自类别的影响。利用掩蔽图像建模等方法进行无监督训练，以克服标签不够精细以及避免负面的图像级注释影响，实现了对数据的更一般的统计结构的学习，并在四个流行的 Few-shot 分类基准测试中，对于 5-shot 和 1-shot 情形均取得了新的最优结果。

    Jun, 2022

  • TabVFL：垂直联邦学习中潜在表示的改进

    TabVFL 是一个分布式框架，通过使用参与者的联合特征，改善了潜在表示学习的效果，保护了数据隐私，保留了特征相关性，并在训练过程中提供了增强的鲁棒性。

    Apr, 2024

  • 少样本图像分类的匹配特征集

    本文提出了一种称为 SetFeat 的方法，将现有特征提取器改为从图像中提取一组特征向量，进而实现更好地将基类的富表示性转移到 few-shot 类中。

    Apr, 2022