multilinguality | BriefGPT - AI 论文速递

关键词multilinguality

搜索结果 - 10

语言失衡可以促进跨语言泛化
多语种模型的研究指出，语言不平衡是跨语言泛化的一个新的驱动因素，在实验中观察到，在训练中存在一种主要语言可以提升较不频繁的语言的性能，同时加强模型在不同语言间的表示对齐，同时本研究还提出了一些训练方案来改善克隆语言的性能。
PDF3 months ago
多语能力的祝福：Poro 34B
通过多语言训练，研究引入了 Poro 34B 模型，该模型具有 340 亿个参数，并使用 1 万亿个标记的芬兰语、英语和编程语言进行训练，证明了多语言训练方法可以显著改进现有的芬兰语模型，并在翻译和生成英语和编程语言方面具有竞争力。
PDF3 months ago
仅需一点多语言知识的多语言教学优化
通过研究多语言指令调整多语言大型语言模型的效果，我们发现跨语言转移以及将多语言示例用于指令调整对多语言指令跟随具有显著的改进作用。
PDF6 months ago
小型模型是大型语言模型有价值的插件
本文提出了 Super In-Context Learning (SuperICL) 算法作为一种有效调整大规模监督数据的方式，尤其适用于难以调整和调试的大型语言模型，并展示了其在多语言性和解释性等方面的优越性。
PDFa year ago
EMNLPArtELingo：WikiArt 上的一百万情感注释，强调多样性而非语言和文化
本文介绍了 ArtELingo，这是一个旨在促进多语言和跨文化多样性的新基准和数据集。ArtELingo 添加了阿拉伯语和中文的 0.79M 注释，以及 4.8K 的西班牙语注释，以评估 “文化转移” 性能。研究表明，多样性可以提高基线模型
PDF2 years ago
COLINGLINGUIST: 语言模型指令调整用于生成带有标注的话语，以用于意图分类和插槽标记
本研究首次演示了使用大规模序列到序列 (seq2seq) 模型的指令微调来控制多语种意图和插槽标记数据生成输出的能力，并提出了 LINGUIST 方法，通过在 AlexaTM 5B 上微调实现对 Intent 分类和插槽标记 (IC+ST)
PDF2 years ago
ACL自然语言处理中的 Square One Bias：走向研究流形的多维探索
研究人员发现大多数自然语言处理 research papers 只关注一个维度，如准确性、公平性或可解释性，但忽略其他维度。作者建议在未来的研究中更加关注多维度，以充分利用自然语言处理研究的巨大潜力，同时提供了相关研究的开源分类结果。
PDF2 years ago
ACL利用多语言技术进行非监督式稀有语言机器翻译
本文研究了针对低资源稀有语种的无监督翻译问题，提出了一个三阶段训练方案的多语种模型，结合了单语和辅助并行数据，取得了明显优于当前无监督基准线的效果。
PDF4 years ago
ACLOpenAttack：一个开源的文本对抗攻击工具包
本篇论文提出了一个基于开源的文本对抗攻击工具包 OpenAttack，该工具包有其独特的优势，在支持所有攻击类型、多语言和并行处理方面表现突出。它包含 15 种典型的攻击模型，覆盖了所有攻击类型，高度包容性的模块化设计不仅支持现有攻击模型的
PDF4 years ago
COLING多语言神经机器翻译中 Transformer 和循环神经网络的比较
本文研究了神经机器翻译在多语言翻译和零样本推理上的性能，比较了双语、多语和零样本系统的翻译质量，并调查了循环神经网络和 Transformer 等两种神经网络模型的翻译质量。研究表明，多语言神经机器翻译能够在多个语言之间共享表示空间，实现有
PDF6 years ago