Mar, 2023

经验人工智能研究中基准排名的零样本蕴含

PDF
TL;DR这篇论文探究了零样本学习的现象在特定的文本蕴涵识别 (RTE) 任务类别中的应用，即自动挖掘带有实验证据的人工智能研究排行榜。作者通过实验检验两个现有最先进的模型是否具有泛化能力或者蕴涵的显现能力，进一步提出了零样本标签数据集的构建方法。
zero-shot learningtextual entailmentempirical ai researchleaderboard extractionentailment
发现论文，激发创造
  • 偏执是强健的自学习者

    本研究设计了一种提示策略，将多个 NLU 任务作为上下文蕴含进行推断，并提出了简单伪标签编辑算法（SimPLE）以提高自我训练的伪标签质量，在二分类和多分类分类任务上进行的实验表明，自我训练蕴含模型在语言理解任务上比大型语言模型更有效和可信。

    May, 2023

  • 有效的零样本和小样本关系抽取的标签表达和蕴涵

    通过转换为推论任务并且使用预训练的文本推论引擎，我们能够减少标注大量实例所需的成本，实验结果表明，我们的方法在少量示例情况下可达到更好的性能。

    Sep, 2021

  • 使用 Transformer 语言模型对社会政治文本进行零样本排序以减少读取时间

    使用基于 Transformer 的 DeBERTa 模型将分类问题转化为蕴含问题，使得排名最高的文档可以被视为正分类文档，从而缩短信息抽取过程中的阅读时间，并发现一定的召回率下，使用声明性形式的类别标签作为查询可以优于使用字典定义的类别标签。同时研究表明，随着主题范围的扩大，应阅读的文档百分比会增加。

    Oct, 2022

  • 训练数据中的隐藏偏差对文本蕴涵识别性能的影响

    本文提出了一种新的方法来研究用于识别文本蕴含任务的大型语料库的质量，通过基于统计假设检验的方法，测试了斯坦福自然语言推理（SNLI）语料库的可预测性，结果表明该库存在隐藏的偏差，并呈现了此偏差对于 RTE 的 NN 模型性能的影响。

    Apr, 2018

  • 严格零样本分层分类的简单有效框架

    提出一种用于处理层级数据集的指示性长尾预测任务的方法，并结合蕴含 - 矛盾预测来解决大语言模型在零样本设置下容易失败的局限性。

    May, 2023

  • 基于蕴含方法的零样本文本分类基准评估与数据集

    该论文提出用一个文本蕴涵公式来研究不同方面的零样本文本分类问题，并提供了统一的数据集、标准化的评估和最先进的基线模型。

    Aug, 2019

  • 基于文本推理的事件论元提取：多源学习实现零 - 和少样本

    本文通过使用预训练推理模型，将事件论元抽取等 NLP 任务转化为文本蕴涵任务，证明了文本蕴涵模型在复杂任务中同样有效，且可以大幅减少人工标注量和依赖于特定领域语料库的限制。使用多份蕴涵数据集来预训练模型是获得优异结果的关键。

    May, 2022

  • 基于生成元学习的零样本关系三元组抽取

    本研究提出了一种新颖的生成元学习框架，旨在提高生成模型的泛化能力，该框架在零样本关系三元组提取任务中达到了新的最先进性能。

    May, 2023

  • 零次和少样本学习用于作者分析

    本文从低资源的角度研究作者特征分类，在西班牙语和英语中尝试了不同的零样本和少样本模型，发现基于蕴涵的模型优于基于 roberta-XLM 的监督文本分类器， 并且使用少于 50% 的训练数据平均可以达到先前方法准确率的 80% 以上。

    Apr, 2022

  • 实体、日期和语言：使用 T0 进行历史文本的零样本学习

    本文探讨了使用 T0 模型的 zero-shot 技术来进行跨越时间和语言的 NER 是否可行，通过历史文献的测试，结果表明利用 prompt 的 naive 方法在 zero-shot 多语种 NER 方面存在误差，但揭示了该方法在缺乏标记数据的历史语言方面的潜力。此外，实验结果也表明类似 T0 的模型可以用于预测文档的发布日期和语言，这对于历史文本研究非常有意义。

    Apr, 2022