无标签数据下学习生成模型的结构
该研究介绍了一种基于 PCA 的弱标注训练数据的学习算法,能够有效地恢复依赖结构,可以成功应用于关系提取和图像分类等实际任务中,并提出了一个关于样本复杂度的信息理论下界。
Mar, 2019
本研究提出了 Coral 方法,通过静态分析编码中的启发式规则来实现生成模型结构的推断,从而减少了学习结构所需的数据,并证明了 Coral 的样本复杂度随启发式规则数量和关系数量呈近线性缩放,能够很好地模型互相关联来提升性能,其在医学成像数据的实验中表现比传统结构学习方法的性能提高了 3.81 个 F1 点,比全监督模型的性能提高了 3.07 个准确度点。
Sep, 2017
本文提出了一种新的框架来学习具有所需结构属性的多元数据的可控和通用表示,该模型利用图模型中的掩码变量表示归纳偏置,并扩展多元信息瓶颈理论来强制执行结构依赖性,从而提供原则性方法来学习一组语义上有意义的潜在因素,其反映了各种类型的期望结构,如捕获相关性或编码不变性。同时还提供了自动估计数据中依赖关系的灵活性,该框架统一了许多现有的生成模型,并可应用于各种任务,包括多模态数据建模、算法公平性和不变风险最小化。
Jul, 2020
该研究论文探讨了离散生成模型的结构学习或发现,并侧重于贝叶斯模型选择和训练数据的吸收,特别关注数据摄入的顺序。基于预期自由能,将先验放置在模型选择上是关键之一。通过在 MNIST 数据集上进行图像分类以及在具有动力学的模型发现问题上的测试,展示了该方案的基本思想。在这些示例中,通过自主学习生成模型来恢复(即解开)潜在状态的因素结构及其特征路径或动力学。
Nov, 2023
通过数据编程(DP)的实验,揭示了标记数据的昂贵成本。 DP 使用的标记函数(LF)定位于领域知识,可以带有复杂的依赖性,用于标记一部分数据,并在 LF 随后训练标签模型。标签模型根据 LF 生成对未知分类标签的估计。本文研究了标记模型结构的过度规范对模型误差的影响。研究还表明,尽管对标记模型结构进行了合理的建模,但这种建模误差可能很大。
Jun, 2021
本文提出了一种新的基于贝叶斯近似推断的方法,用于学习高斯图模型的依赖结构,通过伪似然方法,无需引入有关可分解性的任何假设即可得到近似边缘似然值,结合简单的稀疏性先验和默认的参考 prior,得到了一个快速适用于高维数据的评估函数,本方法与其他方法的比较表明其性能良好并且能够一致地估计图结构。
Feb, 2016
本研究提出了一种融合程序性弱监督和生成对抗网络的模型,通过对数据的离散潜变量和弱监督派生数据的标签估计进行对齐,从而更好地建模样本相关的弱监督结果的准确性,并通过合成样本实现了数据增强。实验结果表明,所提出的模型在多分类图像分类数据集上表现优异,同时提升了生成图像的质量和最终模型性能。
Mar, 2022
提出了一种新的概率图模型结构学习方法,通过在随机变量实例化级别上操作来学习,推广和解释在这些难以捉摸的领域中,从而解决机器学习方法在精度不尽如人意的情况下的问题,并且通过 Bayesian Knowledge Bases(BKBs)来利用 Information Thermodynamics 和 MDL 原理解决了结构化选择问题并提高了学习效果,最终运用在乳腺癌基因突变数据学习基因调节网络。
Mar, 2023
本文提出了一种基于贝叶斯网络结构学习的非参数生成模型,采用分层贝叶斯框架来捕捉变量之间的系统性关系,通过 MCMC 算法推导出变量的类别、贝叶斯网络结构和类别间的先验概率,实验证明该方法在小样本数据集中更准确。
Jun, 2012