多语言语言模型中的跨语言编辑
本文旨在研究知识编辑领域中源语言编辑对不同目标语言的交叉效应,通过将 ZsRE 从英文翻译成中文,构建大规模的跨语言合成数据集,对不同范式的知识编辑方法进行英文和中文的编辑,并评估其在不同方面的性能。进一步分析编辑模型的不一致行为并讨论其挑战。
Sep, 2023
该研究通过考察多语境下的几种知识编辑技术,战略性地确定了语言平等的需求。我们评估了 Mistral、TowerInstruct、OpenHathi、Tamil-Llama 和 Kan-Llama 等模型在英语、德语、法语、意大利语、西班牙语、印地语、泰米尔语和卡纳达语等语言上的性能。研究发现了跨语言一致性方面正常模型和合并模型之间的显著差异。我们采用 “每种语言为自己”(ELFI)和 “每种语言为他人”(ELFO)等策略对这些模型进行了强化测试。研究结果表明,LMM 具有克服语言障碍的潜力,为实现人工智能技术中的语言包容性奠定了基础。
Jun, 2024
使用 MAssive Language Model Editing Network (MALMEN) 方法,以超网络生成参数移位来校正大型语言模型中的知识误差和过时问题。该方法可同时编辑多个事实,并比特定于 GPT 的编辑器在知识密集型 NLP 任务上表现更佳。
Nov, 2023
本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式, 另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。
Jan, 2019
介绍了大型语言模型(LLMs)的计算成本问题以及知识模型编辑(KME)领域中的最新进展和分类技术,探讨了方法的洞见、优势、限制以及实际应用和挑战,并提出了未来研究方向。
Oct, 2023
以 53 种不同的语言为基础,评估跨语言知识编辑的 BMIKE-53 基准的多语言上下文知识编辑(MIKE)方法,提供了关于可靠性、普适性、局部性和可移植性的重要见解和框架,为跨语言知识编辑的未来研究奠定了基础。
Jun, 2024
该研究提出了一种名为 X-METRA-ADA 的交叉语言 MEta-TRAnsfer 学习 ADAptation 方法,其采用元学习技术来增强自然语言理解(NLU)领域中的跨语言转化,并通过两个跨语言 NLU 任务的大量实验证明了该方法性能优于朴素微调方法,该方法能够利用有限数据进行更快的适应。
Apr, 2021
本研究旨在探讨大型语言模型的编辑问题,提出当前最先进的编辑方法并构建了一个新的基准数据集进行实证分析,从而为研究社区在选择适用于特定任务或上下文的最合适的方法时提供有价值的见解。
May, 2023