cross-lingual transfer | BriefGPT

关键词cross-lingual transfer

搜索结果 - 153

自我翻译训练：一种简单而强大的大型语言模型跨语言转移基准
自我翻译训练是一种简单而有效的方法，利用大型语言模型的翻译能力在目标语言中生成合成训练数据，并用自己生成的数据对模型进行微调，从而在多种非英语语言中展现了显著的性能提升。
PDF5 days ago
多语言对齐棱镜：调和全球和本地偏好以减少伤害
在不同语言和文化偏好的非均质集合中优化全球和局部危害，同时解决 “对齐到什么” 的问题，本文研究了不同对齐方法的可行性，通过收集人工标记的红队测试提示生成了全球和局部危害的新的数据集，建立了开创性的对齐技术的先例，在 6 种语言中保持了一般
PDF8 days ago
跨语言适应多语言预训练语言模型的三重方法
研究了三种低资源跨语言方法，并在语境学习和微调下发现通过添加额外的主导语言监督信号，对 LLM 的跨语言转移有所改进；同时，发现将目标语言适应词汇重排可能对 ICL 有益，但随着微调而减弱；最后，继续以一种低资源语言进行预训练可提高其他相关
PDF9 days ago
IJCAI通过渐进式代码切换改善零样本跨语言迁移
逐渐生成适度困难的混合码交换示例，以引导模型对更困难的混合码交换数据进行优化，并根据单词相关性评分设计了难度测量器、代码切换器和训练调度器。
PDF15 days ago
ACL未知文字：脚本对跨语言迁移的影响
探索预训练模型的源语言对跨语言转移性能的影响，发现与脚本共享、语言类型匹配和模型大小相比，分词器是更重要的因素。
PDF2 months ago
COLING融合词汇和句法知识的无监督跨语言迁移
本文提出了一种名为 “Lexicon-Syntax 增强多语言 BERT” 的新框架，该框架结合了词汇和句法知识，并通过多种技术增强其学习能力，在零样本跨语言传递的任务中取得了优异的成绩。
PDF2 months ago
零样本跨语言迁移的泛化度量
在跨语言零样本设置中，探索了一组有效且可靠的度量，以计算语言模型的泛化能力相关信息，并提出了一种稳定的算法来可靠计算模型最优解的锋利度与泛化之间的相关性。
PDF2 months ago
COLINGCORI: 汉字罗马化整合的 CJKV 基准 -- 跨语言文字脚本转换的一步
通过考虑语言接触的重要性，本研究研究了源语言对跨语言转移的影响，并提出了一种整合罗马化转录的方法来增强跨语言表示和有效的零样本跨语言转移，进而鼓励对接触语言的深入研究。
PDF2 months ago
ACLmOthello: 跨语言表示对齐和跨语言迁移在多语言模型中的出现时机
预训练的多语言模型在交叉语言迁移方面展现出了能力，本研究旨在探讨学习语言中性表示的因素以及该表示是否足以促进交叉语言迁移。通过引入 “锚定标记”，可以帮助跨语言表示对齐，而仅仅学习语言中性表示是不足以促进交叉语言迁移的。基于研究结果，提出一
PDF3 months ago
通过元训练和大型语言模型的上下文学习，为跨语言学习调整心理健康预测任务
该研究介绍了两种不同的方法，使用模型无关的元学习和利用大型语言模型（LLMs）来预测低资源非洲语言（如斯瓦希里语）中心理健康状况。通过应用于压力、抑郁、抑郁症严重程度和自杀倾向等四个心理健康任务的三个翻译为低资源语言的数据集进行实验，结果显
PDF3 months ago
MaiNLP 在 SemEval-2024 任务 1 中的表现：跨语言文本相关性中的源语言选择分析
本文介绍了我们为 SemEval-2024 任务 1 所开发的系统：语义文本相关性（STR），在 Track C：跨语言下。该任务的目标是在没有直接监督（即零 - shot 跨语言转移）的情况下，检测给定目标语言中两个句子的语义相关性。为此
PDF3 months ago
Bailong：基于 QLoRA 和 Zip-tie 嵌入的双语迁移学习
我们结合参数高效调整和高级嵌入初始化技术，通过对英语主导的开源大语言模型进行二次预训练，以提高其在繁体中文上的表现，并进一步引入评估平台来检验模型与人类偏好和指令遵循能力的一致性。我们的评估结果显示，我们的模型在多轮对话任务中相比其他类似的
PDF3 months ago
COLING对抗性数据集上跨语言迁移至资源较少的语言的鲁棒性
多语言语言模型（MLLMs）展现了强大的跨语言转移能力，本研究旨在调查源语言应用于目标语言的效果，特别是在扰动输入测试集的情况下，发现命名实体识别的跨语言转移主要取决于实体块的重叠，研究结果提供了宝贵的跨语言转移见解并强调了在跨不同语言时考
PDF3 months ago
多语言翻译中的子词和跨语言转移的系统分析
此研究探讨了子词切分在跨语言迁移中的作用，发现子词规范化提高了多语言建模的协同效应，而 BPE 在跨语言微调中更有效地促进了迁移，在子词建模方面的决策对于优化多语言建模的好处至关重要。
PDF3 months ago
COLING机器翻译：跨语言预训练和跨语言迁移学习的桥梁吗？
利用机器翻译作为持续训练目标来增强语言表示学习在跨语言学习中的作用研究发现，机器翻译无法增强多个跨语言自然语言理解任务中的跨语言表示学习，这对未来的跨语言转移研究有重要影响。
PDF3 months ago
通过多语言提示翻译进行自然语言推理的跨语言迁移
基于多语言预训练模型，通过提示学习的跨语言转移已显示出有希望的有效性，其中在低资源情景中，从源语言到目标语言的软提示转移到下游任务中。为了有效地转移软提示，我们提出了一个新颖的框架 —— 多语言提示翻译器（MPT），通过引入多语言提示翻译器
PDF3 months ago
COLING跨语言转移还是机器翻译？关于单语义文本相似性的数据增强
通过比较两种数据技术（跨语言转移和机器翻译），研究发现，使用英文数据训练的跨语言转移和使用英文数据转换为伪非英文训练数据的机器翻译在日语和韩语的单语 STS 上表现相当。此外，研究还发现 Wikipedia 领域在这些语言上优于 NLI 领
PDF4 months ago
从一到多：扩大语言模型中毒素缓解的范围
多语言毒性缓解中的复杂性研究及其对未来研究的重要影响
PDF4 months ago
AdaMergeX: 透过自适应适配器合并实现大型语言模型的跨语言迁移
我们提出了一种新的跨语言转移方法 $\texttt {AdaMergeX}$，利用自适应适配器合并，在引入参考任务的基础上，结合其他三个适配器可以获得目标适配器，实验证明该方法在各种设置下都能提供新的有效的跨语言转移，优于现有方法。
PDF4 months ago
跨语言迁移中多源语言训练的分析
多语种语言模型，交叉语言迁移，源语言，嵌入空间，语言组合
PDF4 months ago