Oct, 2022

使用 Transformer 语言模型对社会政治文本进行零样本排序以减少读取时间

PDF
TL;DR使用基于 Transformer 的 DeBERTa 模型将分类问题转化为蕴含问题，使得排名最高的文档可以被视为正分类文档，从而缩短信息抽取过程中的阅读时间，并发现一定的召回率下，使用声明性形式的类别标签作为查询可以优于使用字典定义的类别标签。同时研究表明，随着主题范围的扩大，应阅读的文档百分比会增加。
classificationentailmenttransformer language modelsdebertainformation extraction
发现论文，激发创造
  • 使用句子转换器进行零样本文本匹配的自动审计

    本文探讨了使用基于 transformer 的 Sentence-Bert 模型进行无监督文本匹配的效率，结果表明该模型对于金融领域内外的文本均有很好的鲁棒性。

    Oct, 2022

  • 使用预训练的序列到序列模型进行文档排名

    通过对预训练序列到序列模型进行新的调整，使其能够用于文档排名任务，相比较于 BERT 等仅采用编码器预训练变压器架构的基于分类的排名方法，我们的方法在实验中展现出了更好的性能，并发现我们的方法在数据较少的情况下更能胜任。

    Mar, 2020

  • ZeroBERTo：利用主题建模提高零样本文本分类能力

    本文提出了一种名为 ZeroBERTo 的新模型，利用无监督聚类方法在分类任务前获取压缩数据表示，其在长文本输入的性能和执行时间上都优于 XLM-R， F1 分数比 FolhaUOL 数据集上的 XLM-R 高约 12％。

    Jan, 2022

  • 利用生成语言模型进行零样本文本分类

    本文研究了使用自然语言实现零样本模型对新任务的自适应性，通过社交评论平台的文本和元数据作为简单的预训练任务，并提供分类任务的自然语言描述作为输入训练语言模型，以生成正确答案的方式进行自然语言的模型推广，克服了多任务分类的缺点，在六个基准文本分类数据集上训练出具有零样本性能的生成性语言模型，结果显示语言可以作为任务自适应的简单而强大的描述符，这为文本问题的新元学习策略指明了方向。

    Dec, 2019

  • 实体、日期和语言：使用 T0 进行历史文本的零样本学习

    本文探讨了使用 T0 模型的 zero-shot 技术来进行跨越时间和语言的 NER 是否可行，通过历史文献的测试，结果表明利用 prompt 的 naive 方法在 zero-shot 多语种 NER 方面存在误差，但揭示了该方法在缺乏标记数据的历史语言方面的潜力。此外，实验结果也表明类似 T0 的模型可以用于预测文档的发布日期和语言，这对于历史文本研究非常有意义。

    Apr, 2022

  • 大型语言模型的零样本文本分类器

    利用零样本学习采用递进性思维提示，与传统的问答格式相比，GPT 模型在文本分类问题上具备零样本分类器的能力，有效地利用提示策略在各种文本分类场景中展现出较好的性能。

    Dec, 2023

  • 零次和少样本学习用于作者分析

    本文从低资源的角度研究作者特征分类，在西班牙语和英语中尝试了不同的零样本和少样本模型，发现基于蕴涵的模型优于基于 roberta-XLM 的监督文本分类器， 并且使用少于 50% 的训练数据平均可以达到先前方法准确率的 80% 以上。

    Apr, 2022

  • 伪对数似然在自然语言评分中的应用

    本文探讨了使用零射击方式相对于微调方法的优势，并通过实验结果表明其在通用常识推理等二选一任务上表现出色。并且，作者认为此种方法的健壮性应从表征组合性的角度进行解释。

    Jan, 2022

  • 轮询潜在观点：使用变换器语言模型的计算机社会语言学方法

    使用 Transformer Language Models 等方法对 Yelp 评论进行语言行为学习，并利用 prompt-based queries 生成合成文本以分析特定观点，证明即使在缺乏特定关键词的情况下，这些模型也能准确产生具有正确情感的大量文本。

    Apr, 2022

  • 通过阅读理解实现零样本关系抽取

    本论文将关系抽取问题转化为回答简单的阅读理解问题，可以利用深度学习中的神经网络技术，使用关系特定的众包问题与遥感监督结合的大规模训练集进行建模，并可以在测试时抽取新的关系类型，实现了零样本学习。通过对维基百科的插槽填充任务的实验表明，该方法可以高精度地推广到已知关系类型的新问题，并保持零样本学习到尚未见过的关系类型，这为未来的工作设定了标杆。

    Jun, 2017