- 理解 FFNs 在 LLMs 中推动多语言行为的角色
多语言模型(LLMs)中的多语言能力和处理机制的体系结构、激活模式和处理方法的深入分析的研究结果表明模型的层次结构和深度对多语言处理能力有影响。
- ACL基于解码器的预训练语言模型的多语言能力:发现和控制语言特定神经元
当前基于解码器的预训练语言模型(PLMs)成功展示了多语言能力,但这些模型如何处理多语言仍不清楚。我们分析了多语言解码器 PLMs 的神经元级内部行为,特别是考察解码器 - 仅多语言 PLMs 内部是否存在 “独特地只为每种语言” 激活的神 - IndicSTR12:印度场景文字识别数据集
在印度语言这个复杂、语法和语义上更复杂的领域,由于缺乏综合的数据集,该研究提出了最大最全面的数据集 IndicSTR12,并在 12 种主要印度语言上进行了场景文本识别的性能评估,该数据集与现有的拉丁语言的数据集规模和复杂性相当,并且其多语 - 大型语言模型如何处理多语种能力?
大型语言模型在跨多种语言表现出卓越的性能。本文探讨了大型语言模型处理多语言的方式,提出了一个处理多语言输入的框架,并利用该框架验证其有效性,并展示如何通过该框架有效提升多语言能力。
- EMNLP多语言和混码数据收集和准备中被遗忘的代表性原则
研究分析了现有的跨语言切换数据集,揭示了大多数数据涉及英语,忽略了其他语言对 / 元组,并且在数据收集和准备阶段存在代表性方面的缺陷,忽视了跨语言切换中的地理位置、社会人口统计学和注册变化。最后提供了一个简短的清单,以改善与跨语言切换数据收 - 语义边缘自动编码器中的非降波尔变换在安全改进和消噪不同语言中的应用
该研究通过将非降维小波变换与词嵌入语义边际自编码器相结合,提供了一种改进安全措施和去噪多语言的新策略。
- M3Exam:一个用于检验大型语言模型的多语言、多模态、多级别基准
该论文介绍了一种利用人类考试题目来全面评估大型语言模型(LLMs)的基准测试 M3Exam,该测试具有多语言、多模态和多级结构的特点,在低资源和非拉丁语文本方面,当前模型(包括 GPT-4)仍然难以应对多语言文本,同时多模态 LLMs 在复 - 通过多语言的一致性评估任务理解:ChatGPT 案例研究
本文提出了一种新的方法,通过评估 LLM 在不同意义的一致性来评估其理解能力,并使用多语言自我一致性作为检验模型理解力的标尺。作者以 ChatGPT 为例,通过在三种不同语言中评估两个不同任务的多语言一致性,发现其多语言一致性仍然不足,而其 - 混码语调查:语言技术的语言和社会观点
本文展示了针对多种语言的数据的分析在计算语言学界越来越受欢迎。 作者提供代码交换(C-S)的调查,涵盖了语言学文献中的关键问题,并从欧洲和印度等高度多语言区域的文献中着重讨论 C-S 结构和功能模式的概述。 此外,作者还讨论了如何使大规模语 - 语音转录中代码切换动机的自动识别
该研究建立了一个新的跨语言切换数据集,准确地识别出多语言演讲者在日常语言中使用广泛的跨语言切换动机,并证明了该系统适用于新语言配对,使用该注释方案的交叉语言应用性达到了 66%的准确度。
- 学习回答多语言和混合代码问题
本论文聚焦于在多语言环境下推进处理末端用户问题的 QA 技术,涉及多语性和混编等问题并提出了一种多文档利用的多跳问题生成技术,实验证明该方法可在 MQA、VQA 和语言生成等多个领域和语言中达到最先进的表现,是通用的,可用于提高 QA 系统 - 多语言语言模型中的句法一致性神经元因果分析
该研究通过在不同语言的多语言语言模型和单语 BERT 模型中执行反事实扰动,并观察模型主谓一致概率的效果,发现了受语法一致性影响的神经元的分布情况,语言模型的行为分析可能低估了掩码语言模型对语法信息的敏感性。
- 本体论中的多语言现象及其意义综述
本文回顾了多语义 Web 中的语言多样性建模选项,通过对 9 种主要方法进行比较,从 BioPortal 和 LOV 存储库中提取了可访问的本体,并评估了 7 个相关本体编辑器对于管理多语言本体的工具支持。
- 代码转换中的主体:基于字符框架的预测埃及阿拉伯语 - 英语代码转换水平的案例研究
本研究旨在通过对双语者的用户研究来预测他们的语码切换行为,探讨不同因素对语码切换行为的影响,结果表明说话人之间的关系、旅游经历以及神经质和外向性人格特征会影响语码切换行为。
- ACL应用答案生成进行跨语言开放领域问答
本文介绍了 GenQA 方法,将其扩展到跨语言环境下的 GenTyDiQA,并通过利用多种语言的段落设计了一个跨语言生成模型,优于所有 5 种语言的答案选择基线和 3 种中文的生成管道。
- 多语社会中代码混合自然语言处理所面临的挑战和考虑
讨论多语社会中 NLP 研究的现状、局限与未来的发展。提出英汉混合语言作为案例,探究五个涉及到社会福祉的应用领域:危机管理、医疗保健、政治宣传、假新闻与仇恨言论等。同时,提出了未来多语言 NLP 应用中可能涉及到的数据集、模型和工具。
- ACL自然语言处理之中语言多样性与包容的现状和前景
本文通过考察各种语言在 NLP 会议上的代表情况以及它们之间的资源差异等多方面,旨在呼吁 ACL 社区关注当前语言技术和应用中存在的不平等现象,提高关注和支持那些缺乏资源的语言,推动语言技术和多语言交流的发展。
- ACL利用凝视进行母语预测
本研究通过分析第二语言阅读中的眼动跟踪图案,证明了英语学习者的母语可从阅读英语时的凝视焦点中预测,这提示英语阅读的差异可能源于母语间的语言差异。这一方法为研究多语言学提供了新视角。
- Google 的多语言神经机器翻译系统:实现零样本翻译
该研究提出一种简单的解决方案,使用单个神经机器翻译模型在多种语言之间进行翻译,并且通过在输入句子的开头引入人工标记来指定所需的目标语言,这种方法不需要更改模型框架,该模型的剩余组件包括编码器、解码器和注意力是不变的,并共享所有语言。我们的方 - ACL多语言神经语言模型:跨语言音标表示学习案例研究
通过应用多语言情境下的共用符号表示和语言的语言信息来训练递归神经网络模型,我们介绍了多语言模型的思想,以解决建模音序列的问题,该问题中具有普遍符号发明和跨语言共享特征表示。实验结果表明,多语言模型比单语言模型具有更好的泛化性能和更高质量的语