EMNLPSep, 2018

利用弱监督学习概念抽象度

PDF
TL;DR本文介绍了一种弱监督方法，用于在完全没有标记数据的情况下推断单词和表达式的抽象性质，利用最少的语言线索和概念在文本数据中的上下文使用，训练具有足够强大的分类器，取得了与人标记的高相关性，结果表明这种方法适用于其他概念属性、其他语言和资源缺乏的情况。
weakly supervised approachproperty of abstractnessminimal linguistic cluestextual datapowerful classifiers
发现论文，激发创造
  • ConceptLearner: 从弱标注的图像集合中发现视觉概念

    本研究提出了 ConceptLearner，一种可扩展的方法来从弱标记的图像集合中自动学习并发现视觉概念检测器，并表明 ConceptLearner 能够应用于图像级别的概念识别和图像区域级别的概念检测，并在 SUN 数据库和 Pascal VOC 2007 上对场景识别和物体检测的学习表现显示出良好的性能。

    Nov, 2014

  • 无监督视觉 grounding 的学习：通过语义自监督

    本文提出了一种新型的无监督视觉基础框架，使用概念学习作为代理任务来获得自我监督，以鼓励模型定位和解释语义属性，在多项实验中，该方法在图像本体库、ReferItGame 数据集上分别提升了 5.6% 和 5.8%，在 Flickr30k 数据集上达到了与最先进的表现相媲美的水平。

    Mar, 2018

  • 使用抽象示例的弱监督语义解析

    本论文提出了一种训练语义解析器的新方式，即利用抽象化表示，而非强监督方式（程序），以缓解训练过程中的困难。经实验证明，这种方法可以成功地用于处理视觉推理数据集以提升性能。

    Nov, 2017

  • 弱监督自训练

    本文提出一种基于弱监督、自训练、规则注意力网络和半监督学习的框架（ASTRA），利用所有可用数据来进行深度学习任务的训练，证明其在文本分类上有显著优势。

    Apr, 2021

  • 弱监督学习的批判性观察：远不及你所想的强

    本文研究弱监督学习中复杂的训练方法，发现成功的关键在于干净的验证数据，即使只用五个样本的干净数据，已有方法的优势也会被削弱，因此提出了进一步研究方向建议。

    May, 2023

  • AutoWS: 文本分类自动化弱监督框架

    提出了 AutoWS 框架用于增加弱监督过程的效率，减少对领域专家的依赖性，使用少量标记的实例和自动创建标注函数的方法来指定嘈杂标签，然后通过一个下游歧别分类器将其聚合成概率标签。

    Feb, 2023

  • 在 LLMs 中检测概念抽象

    我们提出了一种新颖的方法来检测大型语言模型中的名词抽象。从心理学动机的名词对集合开始，我们使用表示上位词关系的表面模式，并分析 BERT 生成的注意力矩阵。通过比较结果和两组反事实情况，我们展示了可以检测到抽象机制中的上位词关系，这不能仅仅与名词对的分布相似性有关。我们的发现是朝着解释大型语言模型中概念抽象的方向迈出的第一步。

    Apr, 2024

  • DeeperDive: 弱监督在文档理解中的不合理有效性 —— 与 UiPath Inc 合作的案例研究

    本研究展示了通过弱监督学习以及利用 PDF 格式长文档的技术挑战，通过构建长文档理解系统，仅使用小型数据集和团队，便可在短时间内构建出 8 个高质量的自然语言理解模型，并取得了最优效果。

    Aug, 2022

  • 无需大量监督即可出现语法

    本文探讨如何在没有专门的句法指导的语料库中从语料学习句法的可行性，以语料库的观察结构为基础，通过定义和隔离语法和意义 / 语用学信息，我们描绘了自主语法的形式特征，并展示了通过简单的优化过程搜索基于语法的词汇类别，而无需对模型形式做任何先验假设的可能性。

    May, 2020

  • 使用弱监督从职位发布中提取技能

    利用弱监督技术中的技能提取，结合欧洲技能、能力、资格和职业分类法，使用潜在表示法在职位广告中发现类似的技能标签，相对于基于令牌级别和语法模式的基准测试，该方法显示出强正信号。

    Sep, 2022