Jan, 2023

基于领域约束的弱监督学习可扩展技术

PDF
TL;DR提出了一种使用符号域知识作为约束条件的新型可扩展端到端管道，用于学习神经网络以弱监督方式对未标记数据进行分类。该方法尤其适用于数据由不同组（类）组成且适合于聚类友好型表示学习的设置，并且可以通过同时考虑多个训练示例来重新制定领域约束以采用有效的数学优化技术。我们在 MNIST 图像分类问题的变体上进行了评估，其中训练示例由图像序列和表示序列中数字的总和组成，并且表明我们的方法比先前依赖于计算每个训练示例的所有约束满足组合的方法具有更大的可扩展性。
neural networkdomain knowledgeweak supervisionclusteringimage classification
发现论文，激发创造
  • 基于物理和领域知识的无标签神经网络监督

    本研究提出了一种新的神经网络监督方法，它通过指定输出空间上应该保持的约束条件来监督神经网络。这些约束条件是从先前的领域知识中派生出来的，并能够在真实世界和计算机仿真视觉任务中有效地训练卷积神经网络，减少了对已标注的训练数据的需求，但对正确编码先前的知识引入了新的挑战。

    Sep, 2016

  • 基于模型的领域通用化

    本篇论文提出了一种基于模型的域泛化方法，通过对数据生成过程和同变性条件的建模，将域泛化问题转化为一个无限维的有约束统计学习问题，并利用非凸对偶理论发展了有约束松弛的统计问题，提出了具有收敛保证的域泛化算法，并在 ColoredMNIST，Camelyon17-WILDS，FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。

    Feb, 2021

  • 弱监督学习的约束标注

    本文提出了一种基于约束空间的弱监督学习方法，将不同的弱监督信号结合起来进行训练，在文本分类和图像分类任务中优于其他方法。

    Sep, 2020

  • 基于约束 CNN 的弱监督分割损失函数

    本文提出一种基于不等式约束的 CNN 弱监督分割方法，通过引入可微分约束惩罚项，使训练过程中的非标注数据指导网络的学习，经实验证明该方法相比于先前研究的 Lagrangian 方法能够更加优化，并降低了训练过程的计算复杂度。

    May, 2018

  • 基于约束的领域知识提升深度学习模型：简要综述

    本文首次综述了将领域知识作为约束条件融入深度学习 (DL) 学习模型的方法，以提高其性能，并针对深度神经网络提出了五种主要的方法，包括特征空间操作、假设空间修改、数据扩增、正则化策略和受约束的学习。

    May, 2020

  • 域分割网络

    通过将图像表示分为两个子空间：一个是每个领域的私有特征，一个是跨领域共享的特征，我们开发的一种新型架构不仅可以让模型在源领域中执行任务，还可以用于重构来自两个领域的图像。该架构不仅在一系列无监督领域适应场景中优于现有技术水平，还能输出私有和共享表示的可视化结果，从而能够解释领域适应过程。

    Aug, 2016

  • 使用弱标签的域自适应语义分割

    论文提出一个新框架，使用 image-level weak labels，引入了 category-wise alignment 来实现 domain adaptation 中 feature alignment 和 pseudo-labeling 的相互作用，实验结果表明在 UDA 和 WDA 上都有显著的提高。

    Jul, 2020

  • DeepSaDe：学习保证域约束满足的神经网络

    本文提供了一种训练神经网络的方法，用于满足各种领域约束。该方法将线性模型学习的思路引入神经网络，并添加了关键的约束传播和基于梯度下降和 CSP 求解的权重更新。实验结果表明，该方法足够灵活，可以保证满足神经网络中的广泛分布的约束。

    Mar, 2023

  • 基于约束的卷积神经网络弱监督分割

    我们提出了一个名为约束卷积神经网络的方法，它使用一种新的损失函数来优化 CNN 模型输出空间上任何一组线性约束条件，并且通过大量实验得出该方法在弱监督语义图像分割任务中表现出卓越的效果。

    Jun, 2015

  • 神经符号学习的语义强化

    该论文探讨如何利用神经符号方法求解具有约束条件的优化问题，为此提出一种计算约束条件之间的互信息的方法，并在三个任务中进行了测试，证明了该方法在提高性能的同时，避免了计算上的复杂性。

    Feb, 2023