Feb, 2023

用贝叶斯混合效应和大型语言模型重新分析 L2 介词学习

PDF
TL;DR使用贝叶斯模型和神经模型，对汉语学习者在两个英文介词测试前后的反应进行数据分析，并揭示了学生能力、任务类型和刺激句子之间的关键交互作用。研究表明，贝叶斯方法更加有用，但是使用语言模型概率作为语法和可学性的预测因子也具有潜力。
chinese learnersbayesian modelsneural modelsprepositionslanguage model probabilities
发现论文，激发创造
  • 使用多语言数据的半监督介词语义消歧

    本研究采用半监督方法来增强介词意义的自动消歧功能。通过在未标注的多语数据上进行预训练，利用一个 LSTM 编码器来预测介词的翻译，然后在一个监督分类系统中将其作为组成部分进行微调，结果表明这种多语信号能够显著提高两个介词意义数据集的结果表现。

    Nov, 2016

  • 神经语言模型的第二语言习得

    本文研究了神经语言模型的第二语言习得，通过对双语 LM 的训练和分析交叉语言传递，发现在语言迁移配置方面，L1 预训练可以加速 L2 的语言泛化，并且影响泛化的因素非常明显，研究了它们在特定方面的非人类的 L2 习得能力。

    Jun, 2023

  • 跨语言和语法下预训练模型的评估

    我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

    Sep, 2023

  • 机器学习对矛盾检测模型的语言学研究：实证分析和未来展望

    分析了两个自然语言推理数据集的语言特征，发现机器学习模型难以理解介词和动词语义重要性，不能理解反义词和同音词，不能理解不完整的句子和罕见单词短语，因此需要在训练过程中尽可能利用更多外部知识。

    Oct, 2022

  • 大型语言模型隐含主题模型：解释和寻找上下文学习的良好示范

    本文从贝叶斯的角度出发，将大型语言模型视作主题模型，提出了一种从标注数据中选择最佳示范的算法，并在实际数据集中证明相对于随机选择基线，平均有 12.5% 的显著改进。研究表明，大型语言模型从示范中隐式地推断出潜在的概念变量。

    Jan, 2023

  • 将贝叶斯先验蒸馏到人工神经网络中，模拟快速语言学习

    将贝叶斯模型的归纳偏差与神经网络的灵活表示相结合，使得从自然语素材中有限学习成为可能。

    May, 2023

  • 面向目标的语法评估语言模型

    该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

    Aug, 2018

  • 语言引发的事件相关电位的贝叶斯建模

    本文介绍了基于贝叶斯层级模型的方法，应用于神经和行为数据分析，特别是应用于事件相关电位 (ERP)，并通过一个以单词惊奇值和神经响应为例的实验数据进行了模拟和解释。

    Jul, 2022

  • 探究预训练语言模型中的语言信息以进行逻辑推理

    本文提出了一种方法来探测在预训练语言模型中进行逻辑推理需要的语言现象，发现预训练语言模型对于一些推理所需要的语言信息进行了编码，同时也发现了有一些信息的编码比较弱，但是预训练语言模型通过微调能够有效地学习到缺失的语言信息。这些结果为语言模型作为支持符号推理方法的语义和背景知识库的潜力提供了有价值的见解。

    Dec, 2021

  • 汉语语言模型中语法知识的受控评估

    我们研究了结构化监督在汉语中的效果，结果表明结构化监督可以帮助语言模型学习句法和语义关系，并且在低数据情况下表现出更好的性能。

    Sep, 2021