MT4CrossOIE: 跨语言开放信息抽取的多阶段调优
本文提出了一种基于计算机视觉中的物体检测算法启发的一种新型单遍 OpenIE 方法,并使用基于二分图匹配的无序损失和基于 Transformer 的编码器体系结构进行序列标记。 该方法更快速并在标准基准测试中表现出优异的性能。我们还在两种语言的零 - shot 设置中对其进行了多语言版本的评估,并在多语言 Re-OIE2016 上展示了性能提高 15%,使两种语言的 F1 值均达到 75%以上。
Jun, 2022
本文探讨了零样本跨语言信息抽取的技术,通过结合多种方法,包括数据映射和自我训练,使用英 - 阿 IE 为例,对 8 个目标语言进行实验,证明了该方法的有效性和可行性。
Sep, 2021
通过使用 CrossIn 方法,利用跨语言指导调整数据的混合构成,我们有效地提升了大语言模型在多语种任务和多语言能力上的表现,并对跨语言数据量和翻译数据的整合对提高多语言一致性和准确性的影响进行了广泛探讨。
Apr, 2024
通过跨语言知识对齐(cross-lingual knowledge alignment)的绩效(Performance)、一致性(Consistency)和传导度(Conductivity)来评估大型语言模型(LLMs)中多语言预训练和指令调整的影响,结果表明,尽管多语言预训练和指令调整对跨语言知识对齐有益,但训练策略需谨慎设计,整体来看,所有测试的 LLMs 的跨语言知识传导度仍不理想,多语言预训练和指令调整都无法大幅提高跨语言知识的传导度。
Apr, 2024
该研究提出了一种信息论框架,将跨语言语言模型预训练作为最大化多语言 - 多粒度文本之间的相互信息来表述,以提高预训练模型的跨语言可迁移性,并提出了一种基于对比学习的预训练任务,实现了更好的预训练模型性能。
Jul, 2020
通过将 OpenIE 任务形式巧妙地转换为 T5 模型的预训练任务形式,并引入锚点的创新概念,OK-IE 显著减少了对大量训练数据的需求,消除了模型收敛速度慢的问题,实验结果显示,相较于之前的 SOTA 方法,OK-IE 仅需 1/100 的训练数据量(900 个实例)和 1/120 的训练时间(3 分钟)即可达到可比较的结果。
Oct, 2023
该论文提出了一种在预训练多语言模型之间进行跨语言传递学习的方法,通过中间微调预训练的多语言模型,使其适用于不同但相关的数据和 / 或任务,以提高对话系统的性能。
Sep, 2021
通过构建合适的推理环境,本文探索利用大型语言模型(LLMs)解决开放式信息抽取(OIE)问题,实验结果表明,相较于最先进的监督方法,我们的 6-shot 方法在标准 CaRB 基准上实现了 55.3 的 F1 分数,同时在 TACRED 和 ACE05 上实验结果显示,我们的方法可以自然地推广到其他信息抽取任务,并分别获得了 5.7 和 6.8 的 F1 分数提升。
Oct, 2023
在多语种环境下,我们对指令调优进行了系统研究,发现跨语言转移成功的关键在于超参数调整和足够的训练数据,虽然英文训练的大型语言模型能够生成其他语言的正确、全面和有帮助的回答,但其可信度较低且可能偶尔出现流畅性错误。
Feb, 2024
通过提出各种上下文学习策略来增强大型语言模型的指示遵循能力,以及通过演示不确定性量化模块来增强生成关系的置信度,本论文评估了大型语言模型在改进开放信息抽取任务中的能力,并在三个开放信息抽取基准数据集上进行实验证明了我们的方法在数量和质量上能够与已建立的监督方法媲美。
Sep, 2023