一举多得:零 - shot 跨语言信息提取的多重策略
运用文本三元组转换模型,将信息提取任务转化为输入文本到输出三元组的翻译过程,通过预训练语言模型的潜在知识对不同任务进行转换,预测输入文本对应的关系性信息可以有效地生成任务特定的输出,并且不需要任何特定的任务训练就可以实现零样本迁移,相比于有训练集的监督学习,具有明显的优势。
Sep, 2021
本文探讨了零样本信息提取(Zero-shot information extraction)的挑战,通过大型语言模型和基于提示的方法构建具有强大信息提取能力的 ChatIE 框架,成功地实现了多轮问答式的信息提取任务,这为使用有限资源构建信息提取模型提供了研究思路和方法。
Feb, 2023
CrossAligner 是一种实现零 - shot 跨语言传递任务知识的有效方法,利用未标记并行数据进行学习对齐,其细调语言模型优于预期。
Mar, 2022
本论文探讨采用跨语言预训练的零样本方法来学习多模态表示,提出建立跨语言图像检索模型的简单实用方法,并引入了一种新的目标函数来测试多语言 MSCOCO2014 字幕测试数据集(XTD10)的零样本模型性能,证明跨语言模型可用于零样本的下游任务, 如多语言图像标记。
Sep, 2021
该论文介绍了一种使用跨语言预训练进行零 - shot 学习的多模式语言和视觉问题解决方法,它可以用于构建跨语言图像检索模型和改进文本嵌入聚类,并在多语言环境下进行评估。
Nov, 2020
介绍了一种新的信息提取工作流程,流程中分析员直接口述感兴趣的实体 / 关系,然后使用文本蕴涵模型进行零 - shot 信息提取,系统使用用户界面实现,并在四个信息提取任务上进行实验,只需每种类型 5-15 分钟的用户工作即可实现零 - shot 学习,并取得了很好的性能表现。
Mar, 2022
通过使用预训练模型,我们提出了一种零样本跨语言转移的新方法,它能够在低资源语言上实现任务感知的双语信息对齐,并利用未标记数据进行自我训练,从而实现多种任务上的最新技术提升,无需并行语料库或翻译模型。
Oct, 2023
本研究探讨了零资源语言的跨语言实体链接问题,利用高资源语言建立了基于字级别神经实体链接模型的枢轴式实体链接框架,实现了跨 54 种语言的零 - shot transfer,并在 9 种低资源语言上进行了实验,相比于基线系统,平均提高了 17% 的实体链接准确性。同时,文章还探讨了语言通用音韵表示的使用,在不同语言之间转移时将平均准确率提高了 36%。
Nov, 2018
本文系统性地探讨了在多语料库上预训练语言表示模型的情况下,零 - shot 跨语言转移学习在阅读理解任务中的应用,并通过实验结果表明,使用预训练的语言表示模型可以实现零 - shot 学习,无需将源语言数据转换为目标语言,因为这样做甚至会降低模型的性能。研究还进一步探讨了模型在零 - shot 情况下的学习效果。
Sep, 2019
本文旨在探究是否可以利用预训练的多语言语言模型,对于没有训练数据的语言进行零样本跨语言关键字提取,并且比较它们与无监督关键字提取器的表现差异。研究结果表明,预训练模型在所有六种语言中都能在零样本条件下,比无监督模型表现更好。
Feb, 2022