EMNLPOct, 2020

Active Testing: 一种远程监督关系抽取的公正评估方法

PDF
TL;DR为了解决现有远程监督关系提取方法中测试集质量低导致的评估偏差问题，本文提出了一种名为主动测试的新型评估方法，通过利用嘈杂的测试集和一些人工注释，可以为远程监督关系提取器提供几乎无偏的评估。在广泛使用的基准测试中，实验表明我们提出的方法可以为远程监督关系提取器提供几乎无偏的评估。
发现论文，激发创造
  • 主动测试：高效模型评估

    本文介绍了一种新的样本效率模型评估框架 —— 主动测试，通过精心选择要标记的测试点，以充分利用样本，解决了现有文献大都忽略了标记测试数据的成本，从而导致模型评估与实际应用的脱节的问题，在理论上建立了基于目标的获取策略并做了进一步的改进，以消除引入的偏差并在相同时间内降低估计方差。

    Mar, 2021

  • 主动测试：一个高效和稳健的估计准确性的框架

    本研究致力于解决在大型带噪数据集上扩大模型评估规模的问题，并采用主动测试框架，有效查询用户，以最小化审核，测试两种常见计算机视觉任务的性能指标，并表明该方法比其他评估协议更具稳健性，并能节省显着的人工标注工作量。

    Jul, 2018

  • 深度强化学习下的强健远程监督关系抽取

    研究利用深度强化学习策略生成假阳性指标解决远程监督产生的噪声，进而将它们分配为负面样本以解决误报问题，实验表明该方法显著提高了远程监督方法的性能。

    May, 2018

  • 手动评估的重要性：审阅远程监督关系抽取的测试协议

    本研究为了更可靠地评估 distantly supervised relation extraction（DS-RE）模型，建立了手动注释测试集，并彻底评估了几个有竞争力的模型，特别是最新的预训练模型。实验结果表明，手动评估可以指出与自动评估非常不同的结论，希望我们的手动测试集和新的观察结果可以帮助推进未来 DS-RE 研究。

    May, 2021

  • 利用推理学习改进远程监督

    本文提出了一种使用知识推理方法检测潜在误差样本的方法，以提高使用远程监督数据训练关系提取系统的性能。

    Sep, 2015

  • 远程监督关系提取数据集：实现准确和一致的评估

    本文使用深度神经网络进行了遥感监督关系提取，通过建立新的人工标注测试数据集 NYT-H，对遥感监督法进行了更为准确和一致的评估，并发现与使用 DS 标注测试数据的对比系统的排名列表有所不同，说明人工标注数据对于遥感监督关系提取的评估是必要的。

    Oct, 2020

  • MedDistant19：面向广泛覆盖的医学关系抽取精准基准的研究

    本研究针对生物医学领域中关系抽取的挑战，提出利用知识图谱关系对原始文本进行自动标注，以克服标注数据缺乏的问题，并通过构建更为准确的基准集 “MedDistant19” 来解决现有基准集存在的一系列问题，并验证了其在领域中具有普遍适用性。

    Apr, 2022

  • 一种基于数据驱动的方法用于远程监督下的生物医学关系抽取中的噪声削减

    使用多实例学习和 BERT 模型，我们提出了一个简单的数据编码方案，以降低噪音并获得了远程监控生物医学关系提取的最新性能，同时进一步编码关于关系三元组方向的知识，从而减少噪音并减轻了与知识图完成的联合学习的需要。

    May, 2020

  • 知晓假阴性：一种远程监督关系抽取的对抗训练方法

    本文提出一种两阶段的远程监督关系抽取方法，利用深度神经网络的记忆机制和对抗训练解决当前知识库不完整所带来的假阴性问题，并在两个流行基准数据集上验证了方法的有效性。

    Sep, 2021

  • 含噪声学习：运用动态转移矩阵提升远程监督关系抽取

    本文探讨了在关系抽取中应用远程监督技术，提出了一种基于课程学习的新型方法来有效地训练转移矩阵来表征噪声，并在各种评估方案中优于现有技术。

    May, 2017