Oct, 2021

采用严格的合适评分规则增强多样性主动学习

PDF
TL;DR本研究探讨文本分类的主动学习领域中的不同收集函数，并开发了一种用于未标记数据的预期分数变化向量的多样性的批量主动学习算法，最后结合集成式学习和动态验证集构建证明 BEMPS 的 mean square error 和 log probability 收集函数的优越表现。
active learningtext classificationbayesian estimatemean proper scoresensemble learning
发现论文，激发创造
  • 多样性增强主动学习的均值适当得分的贝叶斯估计

    提出了一种基于贝叶斯估计的增加严格适当得分的方法 BEMPS，用于在主动学习中估计严格适当得分的增加，该方法在实验证明了其较其他方法更强大和更具鲁棒性，并通过定性分析得到了支持。

    Dec, 2023

  • 严格适当评分规则的语言生成

    基于最大似然估计（MLE）的语言生成是文本生成的基本方法之一。本文提出了一种简单的策略，用于适应语言生成中的评分规则，并使用两种经典的严格适当评分规则 ——Brier 得分和 Spherical 得分进行训练，从而显著提高了模型的生成能力。

    May, 2024

  • 数据选择的熵和边缘得分指标的全面基准评估

    在工业规模的环境中，特别是在资源有限的语言中，我们通过熵和 EL2N 评分来评估潜在的训练样本的 “有用性” 或 “难度”，并展示了如何使用这些度量来选择用于训练监督机器学习模型的重要样本。我们使用这些度量从大量的 “弱信号标记” 数据中筛选高质量的数据集，然后进行以评分为基础的选择来增强训练数据实验，与随机选择的基线技术相比，结果显示了语义错误率下降 2% 和领域分类错误率下降 4%-7%。

    Nov, 2023

  • 深度主动学习中利用 Beta 评分的多标签文本分类

    本研究介绍了一种新颖的深度主动学习策略，利用期望损失减少框架中的 Beta 系列合适评分规则来解决自然语言处理范围内多标签文本分类的挑战。通过计算预期分数的增加量，并将其转化为样本向量表示，该方法在各种架构和数据集情景中通常胜过传统的获取技术，在多标签文本分类中表现出令人鼓舞的结果。

    Jan, 2024

  • 通过多任务双层优化学习主动学习的排序

    活动学习是通过有选择性地请求标签以提高模型性能从而减少标注成本的一种有前途的范式。本研究提出了一种新的活动学习方法，通过一个学习的代理模型选择批次的未标记实例来进行数据获取，从而克服了现有活动学习方法所依赖于昂贵的获取函数计算、广泛的建模重训练和与注释者的多轮交互等局限性。

    Oct, 2023

  • 一个基于信息论的框架，用于统一主动学习问题

    本文提出了一个信息理论框架，用于统一主动学习问题：水平集估计（LSE）、贝叶斯优化（BO）及其广义变体。首先介绍了一种新颖的主动学习标准，该标准包含了现有的 LSE 算法并在连续输入域的 LSE 问题中达到了最先进的性能。然后，通过利用 LSE 和 BO 之间的关系，我们设计了一个竞争性的信息理论获取函数，该函数具有与上置信上界和最大清洗熵搜索（MES）的有趣联系。我们的统一信息理论框架可以应用于以数据有效的方式解决 LSE 和 BO 的广义问题。最后，我们使用合成基准函数、真实世界数据集和超参数调整机器学习模型来实证评估我们的算法性能。

    Dec, 2020

  • 适当校准误差的一致且渐近无偏估计

    提出了一种方法，可以一致且渐近无偏地估计所有适当的校准误差和改进术语，并验证了所提估计器的所述特性，并建议后续校准方法的选择应由所关注的特定校准误差决定。

    Dec, 2023

  • 用适当评分规则量化随机和知识不确定性

    提出了基于合适评分规则（proper scoring rules）的新的测量方法，用于量化机器学习中的系统不确定性和认知不确定性，建立了不同不确定性表示之间的联系，并引入了新的认知和系统不确定性度量。

    Apr, 2024

  • 多类别贝叶斯误差约束学习

    本文提出了一种广义的 HP divergence 测量方法，用于估计有标签数据样本的 Bayes error rate，并证明了该方法比基于成对测量方法和 Lin 提出的方法更紧密，展示了应用该方法进行特征还原策略和深度学习结构评估的工具。

    Nov, 2018

  • 广义多模态 ELBO

    本论文提出了一种新的广义 ELBO（证据下界）公式，用于多模态数据的无监督生成模型，解决了现有方法中语义连贯性和能力之间的平衡问题，并在实验中展示了方法相对于现有技术的优势。

    May, 2021