Jun, 2024

跨界拓展：模型编辑对跨语言性能的影响研究

PDF
TL;DR该研究通过考察多语境下的几种知识编辑技术，战略性地确定了语言平等的需求。我们评估了 Mistral、TowerInstruct、OpenHathi、Tamil-Llama 和 Kan-Llama 等模型在英语、德语、法语、意大利语、西班牙语、印地语、泰米尔语和卡纳达语等语言上的性能。研究发现了跨语言一致性方面正常模型和合并模型之间的显著差异。我们采用 “每种语言为自己”（ELFI）和 “每种语言为他人”（ELFO）等策略对这些模型进行了强化测试。研究结果表明，LMM 具有克服语言障碍的潜力，为实现人工智能技术中的语言包容性奠定了基础。
pretrained language modelslinguistic equityknowledge editing techniquescross-lingual consistencylinguistic inclusivity
发现论文，激发创造
  • 大型语言模型中的跨语言知识编辑

    本文旨在研究知识编辑领域中源语言编辑对不同目标语言的交叉效应，通过将 ZsRE 从英文翻译成中文，构建大规模的跨语言合成数据集，对不同范式的知识编辑方法进行英文和中文的编辑，并评估其在不同方面的性能。进一步分析编辑模型的不一致行为并讨论其挑战。

    Sep, 2023

  • 多语言语言模型中的跨语言编辑

    在多语言的大型语言模型中，已有的模型编辑技术在跨语言的模型编辑范式下存在一定的性能限制，尤其是当涉及到不同语言脚本家族的语言时，需要进一步研究和发展跨语言模型编辑技术以应对这些挑战。

    Jan, 2024

  • 多语言大型语言模型的跨语言能力和知识障碍

    通过评估六种最先进的大型语言模型在跨语言任务上的表现，本研究发现尽管这些模型在机器翻译和嵌入空间分析上展现了表层的跨语言能力，但在更深层次的跨语言知识转移上存在困难，揭示了跨语言知识壁垒的存在。同时提出在混合语言数据上对大型语言模型进行微调的方法，有效减少了这些差距，甚至在使用维基文本等域外数据集时也能取得良好效果。研究发现需要明确的优化方式来发挥大型语言模型的完整跨语言潜力。

    Jun, 2024

  • 运用跨语言专业语言模型破解多语言的诅咒

    跨语言专家语言模型在同等计算资源下优于其他多语言模型，提供性能改进的同时适应新语种，且具有异步训练的优势，减少硬件需求和推广多语言建模。

    Jan, 2024

  • 超越静态模型和测试集：在任务和语言间评测预训练模型的潜力

    本文提出了一种利用语言数据和语言类型学特征来预测跨语种语言模型性能的方法，以此取代传统基于翻译的方法评估系统，该方法表现良好并且能够可靠地估计模型在不同语言上的表现。

    May, 2022

  • 语言向异性跨语言模型编辑

    本文提出了适用于跨语言模型的模型编辑方法，使用平行语料库实现了单语言模型编辑方法的跨语言变体，并采用了语言各向异性编辑方法，实现了显着的编辑率下降。

    May, 2022

  • 通过翻译跟随示范提升面向指导训练大型语言模型的跨语言能力

    通过在语言模型中建立语义对齐，该研究提出了一种在英语以外的语言中增强指令调整型大型语言模型（It-LLMs）的方法，通过交叉语言指导和翻译指导演示，提高语义对齐，并在六种不同语言上的多语言问答基准测试中验证其方法的效果。

    Aug, 2023

  • 大型语言模型编辑：问题、方法和机遇

    本研究旨在探讨大型语言模型的编辑问题，提出当前最先进的编辑方法并构建了一个新的基准数据集进行实证分析，从而为研究社区在选择适用于特定任务或上下文的最合适的方法时提供有价值的见解。

    May, 2023

  • 通过仅使用平行数据训练的大型语言模型研究翻译能力

    本研究引入了 PLUME（Parallel Language Model），该模型是由三个 2B LLMs 组成，采用不同词汇量（32k、128k 和 256k），并且完全基于加泰罗尼亚语为中心的平行语料进行训练。这些模型在 16 个有监督翻译方向和 56 个零样例下的翻译性能与之前的编码解码架构相当。利用这些模型，我们对 LLMs 的翻译能力进行了全面调查，探究其性能、提示的不同元素以及跨语言表示空间的影响。

    Jun, 2024

  • 评估和缓解大型语言模型中的语言歧视

    通过使用多种语言进行训练，大型语言模型（LLMs）通常具有多语言支持，并展示出在不同语言描述的任务中解决问题的显著能力。然而，由于在不同语言之间训练数据的不均衡分布，LLMs 可能表现出语言歧视，即面对相同任务但在不同语言中描述时，难以保持一致的响应。在本研究中，我们首先从安全性和质量两个方面探讨 LLMs 在对各种语言的查询产生的输出的一致性。我们使用两个数据集（AdvBench 和 NQ）对四个 LLMs（Llama2-13b、Gemma-7b、GPT-3.5-turbo 和 Gemini-pro）进行分析。结果显示，与孟加拉语、格鲁吉亚语、尼泊尔语和迈蒂利语的查询相比，LLMs 对英语、法语、俄语和西班牙语的查询表现出更强的人类对齐能力（平均有 1.04％的有害查询成功越狱）。此外，对于英语、丹麦语、捷克语和斯洛文尼亚语的查询，LLMs 倾向于产生具有更高质量的响应（平均 F1 得分为 0.1494），与其他语言相比。基于这些发现，我们提出了一种基于相似度的投票机制 LDFighter 来减轻 LLMs 中的语言歧视。LDFighter 确保为不同语言使用者提供一致的服务。我们使用良性查询和有害查询来评估 LDFighter。结果显示，LDFighter 不仅显著降低了成功越狱的概率，还平均改善了响应质量，证明了其有效性。

    Apr, 2024