Sep, 2023

理解自监督学习在表格异常检测中的局限性

PDF
TL;DR通过多个实验我们发现自我监督学习在表格数据的异常检测方面并没有改善，这是因为神经网络引入了无关特征，降低了异常检测器的效果，但我们演示了利用神经网络表示的子空间可以恢复性能。
self-supervised learninganomaly detectiontabular datapretext tasksneural networks
发现论文，激发创造
  • SubTab: 自监督表示学习中的表格数据特征子集

    本文介绍了一种新框架 SubTab, 通过将输入特征分成多个子集，将学习表格数据的任务转化为多视图表示学习问题，从而捕捉其潜在的潜在表示。在 MNIST 数据集上，SubTab 取得了 98.31％的表现，与 CNN 的最新结果持平，并在三个其他真实数据集上超过了现有基线。

    Oct, 2021

  • 异常检测需要更好的表示

    本文介绍了无监督学习的自我监督表 征学习技术可以用于实现常见异常检测任务的最先进性能，并且提出在表示学习方面实现下一代异常检测任务需要新的技术和概念改进。

    Oct, 2022

  • 自监督损失用于单类文本异常检测

    通过自我监督学习 Fine-tune Transformers，利用丢失作为异常分数，成功提升语义异常的 AUROC 分数 11.6％和句法异常的 22.8％。此外，所得到的最佳目标和学习表示因下游异常类型不同而异，且表示的可分离性对于检测语义异常更有效。

    Apr, 2022

  • 基于表格数据的深度学习：一种自监督方法

    使用自监督学习的 TabTransformer 模型，通过描述一种新颖的表格数据训练方法，提高了对分类和数值特征的建模能力。通过对比传统机器学习模型和自监督学习方法，研究结果显示 TabTransformer 在表格数据上的性能优势。

    Jan, 2024

  • 文本中的深度异常检测

    利用自监督学习针对文本语料库制定预文本任务的方法，根据最新研究成果，大幅提高了半监督和无监督异常检测的效果，并证明了自监督异常检测在自然语言处理领域中的潜力。

    Dec, 2023

  • 使用自监督学习能够提升模型的鲁棒性和不确定性

    自我监督能够提高深度学习在鲁棒性、异常检测等难题上的表现甚至超越了全监督学习，成为未来自我监督学习研究的新方向。

    Jun, 2019

  • 面向监督的异常检测

    本研究提出了一种基于半监督学习和主动学习的异常检测算法，能够在数据标记要求较高的情况下，大大减少数据标记量，提高检测精度，适用于网络入侵检测等领域。

    Jan, 2014

  • 将表格数据上的参数异常检测重新变为非参数化

    使用检索增强模型进行表格数据的异常检测，通过选择相关样本来帮助目标样本的重建过程，以非参数关系提高性能。

    Jan, 2024

  • 基于规范化伪标签的自我训练在表格数据上的再探讨

    本文探讨了在表格数据情景下，如何利用自训练和课程伪标记方法来应对半监督和自监督学习中存在的大量标记数据需求与非标记数据的局限性，同时提出了一种基于伪标记生成的置信度得分的新方法，通过该方法可以在高密度区域获得更可靠的伪标签。

    Feb, 2023

  • TABBIE：表格数据的预训练表示

    通过自我学习目标函数和预训练语言模型（如 BERT）对表格和相关文本进行联合建模的现有工作可以提高涉及配对表格和文本的任务（例如回答关于表格的问题）的性能，但在没有任何相关文本的情况下处理表格的任务（例如填充缺失的单元格）时表现不佳。我们提出了一种简单的预训练目标（损坏单元格检测），该预训练目标只是从表格数据中学习，并且在一套基于表格的预测任务上达到了最先进的水平，从而超过了竞争方法。与其他方法不同，我们的模型（TABBIE）提供了所有表子结构（单元格、行和列）的嵌入，并且所需的计算时间也要少得多。我们对模型的学习单元格、列和行的表示进行了质量分析，结果表明它可以理解复杂的表语义和数字趋势。

    May, 2021