跨语言嵌入是否应以英语为主?
对 FActScore 在线性多语言模型生成的长文本进行研究,发现不同语言中的 LLMs 在事实提取和事实评分任务中表现出不同行为,并且知识源对 FActScore 的估计质量起着重要作用。使用维基百科作为知识源可能会阻碍中小资源语言长文本的真实 FActScore,但通过三种缓解方法,可以提高对所有语言的 FActScore 估计。
Jun, 2024
该研究在中文、西班牙语、英语、阿拉伯语和法语这五种常用语言上,对音视频语音识别(AVSR)进行了广泛而详细的研究。通过收集大规模的数据集并进行有监督学习模型的训练,在多语言环境中训练的 ViSpeR 模型在每种语言的最新基准测试中表现出竞争力。该研究通过提供数据集和模型给研究社区,旨在为音视频语音识别领域的进一步研究和探索奠定基础。
May, 2024
本文分析了用于英语、法语、德语和西班牙语识别人工智能生成文本和人类生成文本的特征,并对不同语言进行了比较。研究了两种情况:(1) 检测由人工智能生成的原创文本,和 (2) 检测由人工智能重新表述的文本。通过建立包含每种语言 10 个主题的新文本语料库来训练和测试这个多语言环境中的分类器。特征的组合在检测人工智能生成的文本时表现最好,说明这些特征可以应用于其他相关语言:西班牙语的 F1 得分接近 99%,英语为 98%,德语为 97%,法语为 95%。在检测人工智能重新表述的文本时,大多数情况下使用所有特征的系统效果最好,但对于德语(72%)和西班牙语(86%),仅使用文档特征最好,而对英语则仅使用文本向量特征可获得最佳结果(78%)。
Dec, 2023
本研究探讨了如何将零 - shot 模型从高资源语言(一般是英语)迁移到其他语言,结果表明在不同语言的查询和文档中使用零 - shot 排名算法的有效性会降低。因此,我们提出利用双语词典生成人工混合语言的数据来训练排名模型,我们对从跨语言词嵌入和平行维基百科页面标题引导的词典进行了实验,最终在多语言、跨语言和单语言信息检索方面进行了评估。结果表明,使用代码切换可以在跨语言和多语言检索中带来一致且实质性的收益。
May, 2023
UVLN (Universal Vision-Language Navigation) 是一种新颖的增强型机器翻译指令框架,利用大型语言模型(GPT3)和图像标题模型(BLIP)的新颖组合,将传统的指令跟随代理推广到多语言和低资源语言等复杂领域,将不同语言之间的对齐通过跨模态变压器,对语言指令、视觉观察和动作决策序列进行编码、捕获和传递。
May, 2023
通过在所有提供的 12 种语言数据集上微调 XLM-Roberta 基础模型,利用跨语言表示方法解决 NER 多语言复杂命名实体识别任务,达到 SemEval 2023 任务 2 的最佳表现。
May, 2023
本文提出了分层专家混合(SMoE)模型,该模型具有分层结构,可以为不同令牌分配动态容量,可用于提高机器翻译中的性能和减少参数不足问题。SMoE 在两个多语言机器翻译基准测试上表现出色,优于多个最先进的 MoE 模型。
May, 2023
通过少量有质量的翻译数据训练的自监督学习解码器模型,在没有多语言联合训练或反向翻译的情况下,在较高和较低资源语言对中均显示出潜力。同时,该方法还提供了一种控制翻译属性的方法,为可控机器翻译系统铺平了道路。
Feb, 2023
本文提出了 BLICEr(BLI with Cross-Encoder Reranking)方法,是一个半监督的后处理重排序方法,用于任意预先计算过的 CLWE 空间,取得了基于两个标准 BLI 基准的新的最先进结果,涵盖了各种不同语言的宽谱。
Oct, 2022