利用凝视进行母语预测
利用大语言模型在现代教育领域创新的机会,通过研究提问型大语言模型、语法错误解释和人力资源面试评估,揭示了大语言模型在改变教育实践中的潜力和限制。
May, 2024
通过对三种不同模型的测试(Bard、ChatGPT-3.5 和 ChatGPT-4)以及与人类结果的比较,研究了模型大小对于语言模型性能的影响,发现模型大小的增加可以提高性能,但语言模型仍不如人类敏感。
Apr, 2024
多语言模型(LLMs)中的多语言能力和处理机制的体系结构、激活模式和处理方法的深入分析的研究结果表明模型的层次结构和深度对多语言处理能力有影响。
Apr, 2024
使用基本规范并且不需要进一步的假设,我们的主要研究结果是针对每个可计数的候选语言列表,都存在一个能够在极限情况下生成的代理模型,与用于识别未知语言的语言学习模型产生截然不同的结果,这表明识别语言和从中生成语言是根本不同的问题。
Apr, 2024
当前基于解码器的预训练语言模型(PLMs)成功展示了多语言能力,但这些模型如何处理多语言仍不清楚。我们分析了多语言解码器 PLMs 的神经元级内部行为,特别是考察解码器 - 仅多语言 PLMs 内部是否存在 “独特地只为每种语言” 激活的神经元。我们分析了六种语言:英语、德语、法语、西班牙语、中文和日语,并显示每种语言的语言特定神经元是唯一的,在不同语言之间存在轻微的重叠(<5%)。这些神经元主要分布在模型的前几层和最后几层。此趋势在所有语言和模型中始终一致。此外,在推断过程中,我们对每个模型中少于 1% 的神经元进行干扰,并展示了对少数语言特定神经元的干扰会大幅改变生成文本中目标语言发生的概率。
Apr, 2024
生成式 AI 为语言学习提供了重要机会。AI 工具如 ChatGPT 可以通过书面或语音聊天提供非正式的第二语言练习,学习者可以通过提示指定对话参数,如熟练水平、语言风格和讨论主题。AI 可以被指导给出修正性反馈、创建练习题或制定扩展学习计划。AI 可以帮助教师构建各种媒体的学习和评估材料。然而,学习者和教师都需要理解 AI 系统的局限性,这些局限性源于它们对人类语言的纯统计模型,从而限制了它们处理语言使用中微妙的社会和文化方面的能力。此外,AI 系统的创建涉及道德问题,并且在使用中存在实际限制,尤其是对于弱势群体。AI 工具的能力和多功能性很可能使它们成为许多人生活中宝贵而常用的伴侣(类似于智能手机),创造出一种超越简单工具使用的紧密联系。生态理论如社会物质主义对于研究用户和 AI 之间产生的共同行动机制非常有帮助,以及来自原住文化的人 - 物关系视角。
Mar, 2024
项目 MOSLA 是一个长期的、多模态的、多语言的和可控的数据集,通过在线教学记录参与者学习阿拉伯语、西班牙语和汉语的整个过程,并从未经注释的多模态数据中自动检测屏幕上的重点领域。该数据集可用于 SLA、熟练度评估、语言和语音处理、教学法以及多模态学习分析等广泛应用。
Mar, 2024
在印度语言这个复杂、语法和语义上更复杂的领域,由于缺乏综合的数据集,该研究提出了最大最全面的数据集 IndicSTR12,并在 12 种主要印度语言上进行了场景文本识别的性能评估,该数据集与现有的拉丁语言的数据集规模和复杂性相当,并且其多语言性将促进鲁棒的文本检测和识别模型的发展。
Mar, 2024
大型语言模型在跨多种语言表现出卓越的性能。本文探讨了大型语言模型处理多语言的方式,提出了一个处理多语言输入的框架,并利用该框架验证其有效性,并展示如何通过该框架有效提升多语言能力。
Feb, 2024