Jun, 2024

基于伪标签的领域适应用于零样本文本隐写分析

PDF
TL;DR本文提出了一种基于伪标签和领域适应（无监督学习）的跨域文本隐写分析方法（PDTS），通过使用预训练的 BERT 和单层 Bi-LSTM 来学习和提取任务间通用特征，并生成特定任务表示。通过选择性特征传播来增强分类性能，并通过自训练使用未标记的目标领域数据和伪标签来训练模型。实验结果表明，我们的方法在零样本文本隐写分析任务中表现出色，在没有目标域标记数据的情况下实现高检测准确率，并优于当前的零样本文本隐写分析方法。
text steganalysisdeep neural networksdomain shiftpseudo-labelingzero-shot
发现论文，激发创造
  • 野外场景文字检测的合成到真实无监督域自适应

    研究了合成数据对实际数据的转化问题，并提出了基于对抗文本实例对齐与文本自训练的技术来解决领域差异，以提高场景文本检测的性能。

    Sep, 2020

  • 去源域自适应眼底图像分割：去噪伪标签法

    本文研究实际且具有挑战性的无源无监督域自适应问题。作者提出了一种新颖的去噪假标记方法，该方法利用源模型和未标记的目标数据促进模型的自适应。该方法通过不确定性估计和原型估计，进一步引入了两种补充的像素级和类级去噪方案，以减少嘈杂的假标记并选择可靠的假标记以增强假标记的有效性。实验表明，该方法在不使用任何源图像或修改源训练的情况下，实现了与最先进的源相关无监督领域适应方法可比甚至更高的性能。

    Sep, 2021

  • 解决无源无监督视频域自适应的标签噪声问题

    使用自主训练、伪标签、微调和师生框架等方法，这篇论文提出了解决视频领域适应性问题的方法，以在没有源数据的情况下实现源无关自适应，并取得了领先的实验结果。

    Nov, 2023

  • 标签驱动的域自适应语义分割重建

    该研究提出了一种新的框架来缓解图像翻译偏差问题并将不同领域的特征对齐，该框架通过对目标到源的翻译和从预测标签中重构源和目标图像来实现。实验结果表明，该方法在从合成到真实的城市场景理解中具有良好的效果。

    Mar, 2020

  • 领域迁移下的聚类学习

    本文提出了一种基于无监督域自适应和深度聚类的方法，利用来自多个源域的数据信息建立一个与具体域无关的聚类模型，并通过特征对齐和自我监督实现有效地适应目标域。本文的方法即使在少量目标样本的情况下也能自动发现相关语义信息，并在多个域自适应基准测试中取得了最先进的结果。

    Aug, 2020

  • 使用伪标签进行域自适应

    无监督领域适应的研究中，通过使用预训练网络进行多阶段伪标签优化程序，解决了无标签目标数据中的类别错位问题，证明了该简单方法在多个数据集上比复杂的最先进技术更有效。

    Feb, 2024

  • 统一无监督域自适应与零样本视觉识别

    该论文提出了基于领域自适应的跨域分类问题，通过联合子空间的学习，使用有标签样本辅助实现跨域特征投影不变性，并结合了一种监督的局部保持投影 (SLPP) 技术，同时在无监督和零样本学习条件下，在三个跨域自适应基准数据集上实现了最先进的结果。

    Mar, 2019

  • 结构化预测选择性伪标记的无监督域自适应

    本篇论文提出了一种基于结构化预测的选择性伪标记策略，通过无监督聚类分析激活样本在深度特征空间内的固有规律以促进准确伪标记，实验证明该策略表现优于当代最先进方法。

    Nov, 2019

  • 自监督蒸馏的两阶段跨领域文本分类框架

    本文提出了一种二阶段跨域文本分类的框架，使用掩蔽语言模型和标记数据从源域进行模型微调，然后使用自监督蒸馏和目标域的无标注数据进一步微调模型，实验结果表明我们的方法在单源域（94.17％ ↑1.03％）和多源域（95.09％ ↑1.34％）适应都达到了最新的最先进水平。

    Apr, 2023

  • UNO-DST: 利用无标签数据进行零样本对话状态跟踪

    我们将零样本对话状态跟踪转化为少样本对话状态跟踪，通过联合和自我训练方法利用目标域中的无标签数据。该方法通过辅助任务生成槽类型作为主要任务的逆提示，在联合训练期间创建槽值。这两个任务之间的循环一致性使得能够生成和选择未知目标域中的高质量样本，以进行后续的微调。此方法还有助于自动标签创建，从而优化对话状态跟踪模型的训练和微调。我们在零样本场景中的大型语言模型上展示了该方法的有效性，在 MultiWOZ 的所有领域中，平均联合目标准确率提高了 8%。

    Oct, 2023