NIPSSep, 2017

使用静态分析推断生成模型结构

PDF
TL;DR本研究提出了 Coral 方法，通过静态分析编码中的启发式规则来实现生成模型结构的推断，从而减少了学习结构所需的数据，并证明了 Coral 的样本复杂度随启发式规则数量和关系数量呈近线性缩放，能够很好地模型互相关联来提升性能，其在医学成像数据的实验中表现比传统结构学习方法的性能提高了 3.81 个 F1 点，比全监督模型的性能提高了 3.07 个准确度点。
weak supervisiongenerative modelsprogrammatically encodedstructure learningcoral
发现论文，激发创造
  • 无标签数据下学习生成模型的结构

    提出了一种依赖结构的估计方法，该方法基于最大化观测数据的 L1 正则化边际伪似然函数来估计标签，并成功地提高了现有信息提取应用程序中的 F1 值。

    Mar, 2017

  • 弱监督模型学习依赖结构

    该研究介绍了一种基于 PCA 的弱标注训练数据的学习算法，能够有效地恢复依赖结构，可以成功应用于关系提取和图像分类等实际任务中，并提出了一个关于样本复杂度的信息理论下界。

    Mar, 2019

  • 利用复合性探索模型结构的广阔空间

    通过生成上下文无关文法来组织矩阵分解模型以进行模型选择，使用小型可重用算法估计预测似然和推断潜在组件，通过贪心搜索自动选择分解结构。

    Oct, 2012

  • 监督结构学习

    该研究论文探讨了离散生成模型的结构学习或发现，并侧重于贝叶斯模型选择和训练数据的吸收，特别关注数据摄入的顺序。基于预期自由能，将先验放置在模型选择上是关键之一。通过在 MNIST 数据集上进行图像分类以及在具有动力学的模型发现问题上的测试，展示了该方案的基本思想。在这些示例中，通过自主学习生成模型来恢复（即解开）潜在状态的因素结构及其特征路径或动力学。

    Nov, 2023

  • 生成模型助力弱监督 (反之亦然)

    本研究提出了一种融合程序性弱监督和生成对抗网络的模型，通过对数据的离散潜变量和弱监督派生数据的标签估计进行对齐，从而更好地建模样本相关的弱监督结果的准确性，并通过合成样本实现了数据增强。实验结果表明，所提出的模型在多分类图像分类数据集上表现优异，同时提升了生成图像的质量和最终模型性能。

    Mar, 2022

  • Socratic 学习：扩展生成模型以融入训练数据中的潜在子集

    本文介绍了一种用于神经网络的增强学习方法，通过利用关系提取任务的弱监督数据进行训练，将逐渐生成高质量的标注数据，并提高模型的精度并减少误差。

    Oct, 2016

  • CodeKGC: 基于代码的生成式知识图谱构建模型

    通过代码语言模型生成三元组以构建语义结构明确的知识图谱，并使用增强理由生成法提高知识提取能力，实验结果表明该方法在基准数据集上取得优异表现。

    Apr, 2023

  • 多源不精确弱监督模型中的依赖结构错误

    通过数据编程（DP）的实验，揭示了标记数据的昂贵成本。 DP 使用的标记函数（LF）定位于领域知识，可以带有复杂的依赖性，用于标记一部分数据，并在 LF 随后训练标签模型。标签模型根据 LF 生成对未知分类标签的估计。本文研究了标记模型结构的过度规范对模型误差的影响。研究还表明，尽管对标记模型结构进行了合理的建模，但这种建模误差可能很大。

    Jun, 2021

  • 通过弱监督实现公平生成建模

    本文提出了一种弱监督算法来克服深度生成模型中的数据集偏差，该方法通过额外的小型未标记参考数据集作为监督信号来探测现有数据集中的偏差，并学习生成模型。实验结果表明，该方法降低了基于潜在因素的偏差达到了高达 34.6％，在同时使用基于生成对抗网络的图像生成的情况下，数据效率显著提高。

    Oct, 2019

  • 使用大规模异构图表示学习为微软提供代码审查建议

    介绍了一种基于 SOCIO 技术图和图卷积神经网络的代码审查人员推荐新方法 CORAL，该方法可以找到传统推荐器遗漏的相关资格审查员，并对大型项目进行优化，而小型项目则建议采用传统方法。

    Feb, 2022