low-resource learning | BriefGPT

关键词low-resource learning

搜索结果 - 6

ACL历史报纸广告的多语言事件抽取
这篇研究探讨如何从历史文本中提取事件，并介绍了一个在英语、法语和荷兰语中报导解放奴隶的早期殖民时期报纸广告所组成的新的多语言数据集，作者发现通过将问题描述为提取式 QA 任务，并利用现有的现代语言数据集和模型，即使数据有限，也能实现令人惊讶
PDFa year ago
GPT-NER：基于大型语言模型的命名实体识别
本文介绍了一种基于 GPT 模型的 NER 算法 ——GPT-NER，它通过将序列标注任务转化为生成任务来弥补 LLMs 在 NER 任务上的缺陷，并提出自我验证策略以解决 LLMs 易出现的幻觉问题。实验结果表明，该算法表现与有监督算法相
PDFa year ago
低资源神经机器翻译的高性价比训练
提出了一种利用自监督学习和小规模词典来初始化神经机器翻译（NMT）模型，在初始化后使用主动学习策略提高低资源条件下（如稀缺语言）翻译模型性能的方法，并提出了一种基于领域适应的新型主动学习策略。除此之外，我们还表明，使用这种初始化方法和主动学
PDF2 years ago
ACL预训练语言模型中的记忆与泛化
本研究通过研究先进的预训练语言模型在嘈杂和低资源环境下的一般化和记忆能力，发现这些模型的训练对标签噪声几乎没有影响，但并不适用于低资源任务，而基于原型网络的扩展则能提高识别低资源命名实体时的性能。
PDF3 years ago
EMNLP多语言 Transformer 模型的远程监督和迁移学习：关于非洲语言的研究
研究了不同数量可用资源的情况下，对三种非洲语言 Hausa，isiXhosa 和 Yoruba 进行 NER 和主题分类的表现趋势，并通过远距离监督和迁移学习等方法，使用少量的标注数据达到与基线相同的性能，揭示了低资源学习中存在的挑战和机会
PDF4 years ago
对比自监督学习的高效数据预训练
本文提出了一种基于对比学习的文本编码器，利用 60MB 的任务内文本数据进行预训练，相较于利用 160GB 的任务外文本进行预训练的 RoBERTa 模型，在预训练效率、数据和计算资源利用率、以及算法公正性方面有了显著提高。
PDF4 years ago