Apr, 2022

实体、日期和语言：使用 T0 进行历史文本的零样本学习

PDF
TL;DR本文探讨了使用 T0 模型的 zero-shot 技术来进行跨越时间和语言的 NER 是否可行，通过历史文献的测试，结果表明利用 prompt 的 naive 方法在 zero-shot 多语种 NER 方面存在误差，但揭示了该方法在缺乏标记数据的历史语言方面的潜力。此外，实验结果也表明类似 T0 的模型可以用于预测文档的发布日期和语言，这对于历史文本研究非常有意义。
zero-shot learningt0 modelnamed entity recognitionhistorical languagesprompt-based
发现论文，激发创造
  • 零样本学习的跨语言上下文主题模型

    本文介绍了一种零射击跨语言主题模型，利用迁移学习来处理多个语言的数据集，以解决传统基于词袋的主题模型所面临的单语言或巨大而稀疏的词汇表等问题，并评估了在不同语言中同一篇文章的主题预测的准确性和连贯性，结果表明所转移的主题是连贯且稳定的，具有潜在的未来研究方向。

    Apr, 2020

  • 使用设计的条件提示和上下文进行零样本实体和推文特征描述

    本研究使用预训练语言模型来解决媒体偏见的问题，一方面通过对大型新闻语料库的有条件前缀的微调，对通用实体进行主观性表征；另一方面，通过对来自几个流行 hashtag 的 Twitter 语料库的微调，使用语言模型对推文进行前缀、问题和上下文摘要提示进行表征的评估。

    Apr, 2022

  • ChatGPT 能否识别历史文档中的实体？

    本文探讨大型语言模型在历史文本中的命名实体识别和分类任务中的应用，通过比较其与基于最先进的语言模型的系统的表现找出其存在的问题。研究结果表明，历史文本中的命名实体识别存在多个问题，包括实体注释规范的一致性、实体复杂性和代码切换等，这些问题导致大型语言模型与其他系统相比存在着一些缺点。

    Mar, 2023

  • 利用生成语言模型进行零样本文本分类

    本文研究了使用自然语言实现零样本模型对新任务的自适应性，通过社交评论平台的文本和元数据作为简单的预训练任务，并提供分类任务的自然语言描述作为输入训练语言模型，以生成正确答案的方式进行自然语言的模型推广，克服了多任务分类的缺点，在六个基准文本分类数据集上训练出具有零样本性能的生成性语言模型，结果显示语言可以作为任务自适应的简单而强大的描述符，这为文本问题的新元学习策略指明了方向。

    Dec, 2019

  • ZeroBERTo：利用主题建模提高零样本文本分类能力

    本文提出了一种名为 ZeroBERTo 的新模型，利用无监督聚类方法在分类任务前获取压缩数据表示，其在长文本输入的性能和执行时间上都优于 XLM-R， F1 分数比 FolhaUOL 数据集上的 XLM-R 高约 12％。

    Jan, 2022

  • 无监督信息抽取作为统一的文本到三元组翻译

    运用文本三元组转换模型，将信息提取任务转化为输入文本到输出三元组的翻译过程，通过预训练语言模型的潜在知识对不同任务进行转换，预测输入文本对应的关系性信息可以有效地生成任务特定的输出，并且不需要任何特定的任务训练就可以实现零样本迁移，相比于有训练集的监督学习，具有明显的优势。

    Sep, 2021

  • 零样机任务推广的提示一致性

    本文探讨了如何利用未标记的数据以提高自然语言处理任务的零样本性能，并通过规范提示一致性来鼓励模型的一致预测，并取得了实验结果上的进展和成果。

    Apr, 2022

  • 大型语言模型的零样本文本分类器

    利用零样本学习采用递进性思维提示，与传统的问答格式相比，GPT 模型在文本分类问题上具备零样本分类器的能力，有效地利用提示策略在各种文本分类场景中展现出较好的性能。

    Dec, 2023

  • 零样本神经网络跨语言实体链接

    本研究探讨了零资源语言的跨语言实体链接问题，利用高资源语言建立了基于字级别神经实体链接模型的枢轴式实体链接框架，实现了跨 54 种语言的零 - shot transfer，并在 9 种低资源语言上进行了实验，相比于基线系统，平均提高了 17% 的实体链接准确性。同时，文章还探讨了语言通用音韵表示的使用，在不同语言之间转移时将平均准确率提高了 36%。

    Nov, 2018

  • 自训练的零样本文本分类

    本文提出一种基于自训练方法的插入式零样本文本分类技术，无需领域专业知识或经验，仅需要类别标签和无标记数据，可显著提高性能，适用于各种文本分类任务。

    Oct, 2022