multilingual alignment | BriefGPT

关键词multilingual alignment

搜索结果 - 6

分享的重要性：在 LLMs 中分析不同语言和任务的神经元
多语言大型语言模型（LLMs）的多语言机制对其内部表示的共享程度进行研究，并发现语言分享模式受任务类型和输入的影响，所有共享神经元在生成正确响应中起关键作用，增加所有共享神经元可以提高多语言任务的准确性。
PDF21 days ago
大型语言模型：优秀的自发多语种学习者 —— 多语种标注数据是否必要？
通过多语言对齐方法，本文研究了大型语言模型的多语言能力提升，发现即使在没有注释答案的情况下，仅通过问题翻译数据进行训练的语言模型能够在广泛的未见过的语言中获得显著的性能提升，并利用不同的设置和机理解释方法对多语言场景下的语言模型性能进行了全
PDFa month ago
多语言大型语言模型综述：语料库、对齐和偏差调查
该研究分析了多语言大型语言模型（MLLMs）的关键问题，包括语言不平衡、多语言对齐和固有偏差，探讨 MLLMs 的全球语言表示能力、偏见和挑战，并提出了有前景的研究方向。
PDF3 months ago
DAMP: 面向任务型对话的双重对齐多语言解析器
使用两个阶段的多语言语义解析的多语言代码切换语义解析系统，通过对比预训练改进英语性能和转移效率，并引入有限调整优化方法来提高零 - shot 性能，将 mBERT 的转移性能大大提高，同时使用 3.2 倍少的参数优于 XLM-R 和 mT5
PDF2 years ago
多语言变形金刚编码器：基于词级别的任务无关评估
本文提出一种单词级别的任务无关方法来评估多语言 Transformers 模型构建的上下文表示的对齐情况，并表明一些多语言 Transformer 模型的内部层表现优于其他明确对齐表示，甚至更符合更严格的多语言对齐定义。
PDF2 years ago
ACL从双语对齐到多语对齐：无监督平行文本挖掘
本文提出一种跨语言句子表示的学习方法，介绍了双轴转移的训练策略，并通过实验表明这种策略可以应用于获取具有多语言对齐的句子表示。
PDF3 years ago