May, 2023

评估语言模型中的语言推广能力：面向巴西葡萄牙语的数据集

PDF
TL;DR本研究提出了一种评估方法，针对用于巴西葡萄牙文的语言模型，通过固定的语言格式，考察语言信息的编码方式，评估不同的语言模型在处理语法结构和多词表达方面的泛化能力，解决了语言模型黑盒且缺乏可解释性的问题。
language modelsdeep neural networksintrinsic evaluation taskslinguistic phenomenabrazilian portuguese
发现论文，激发创造
  • 预训练语言模型中习语的探索数据集和方法

    本文介绍了一个包含英语和葡萄牙语的细粒度含义数据集，用于测试语言模型对习语使用的检测能力和生成含有习语句子的表现效果，并且发现 fine-tuning 是学习包含 MWE 的句子表示的一种有效的样本高效方法。

    Sep, 2021

  • 用于跨语言评估的基于逻辑的语料库

    本文提出了一种新的语法任务集，专注于矛盾检测，并评估了递归模型和 BERT 网络。虽然 BERT 在大多数逻辑形式上具有更好的泛化效果，但在处理计数算子时仍有待改进，同时表明该语法任务可以在不同的语言中实现并实现跨语言传递学习。

    May, 2019

  • 大规模语言模型（LLMs）中的语义歧义分析

    本研究旨在分析和讨论 ChatGPT 和 Gemini 等模型中的语言歧义，关注巴西葡萄牙语中的语义、句法和词汇歧义。通过创建一个包含 120 个歧义和非歧义句子的语料库，进行分类、解释和消除歧义。结果经过定性分析和基于回答准确性的定量评估，证明了即使是像 ChatGPT 和 Gemini 这样先进的模型在回答中也存在错误和不足，解释通常是不一致的。此外，准确性达到了 49.58％的峰值，表明有必要进行有监督学习的描述性研究。

    Apr, 2024

  • 多语言 BERT 模型的词形句法探测

    本研究介绍了一个广泛的多语言探测词形信息数据集，利用预训练变形金刚模型（mBERT 和 XLM-RoBERTa），并应用两种方法确定输入中区别信息的位置以实现强大的性能。其中最显著的发现是前缀上下文持有比后缀上下文更多相关预测信息。

    Jun, 2023

  • PORTULAN ExtraGLUE 数据集和模型：启动葡萄牙语神经处理基准测试

    借助对葡萄牙语神经模型的研究，我们提供了一套用于多种语言处理任务的数据集合，以及针对这些下游任务进行细调的神经语言模型集合。通过使用最先进的翻译引擎将数据集从英语机器翻译成葡萄牙语，以与文献中的主流基准相结合，启动了葡萄牙语的对应数据集。由此产生的 PORTULAN ExtraGLUE 基准是未来葡萄牙语研究的基础，可以在后续工作中进行改进。类似地，我们使用低秩适应方法开发的相应细调神经语言模型作为基准可促进葡萄牙语神经处理的未来工作。所有数据集和模型都已开发并可用于葡萄牙语的两个变体：欧洲葡萄牙语和巴西葡萄牙语。

    Apr, 2024

  • 习惯用语检测的高效样本方法

    本篇研究旨在探究识别成语化多词表达的高效方法，通过 Pattern Exploit Training 和 BERTRAM 两种少样本分类方法，以及探索不在训练数据中的多词表达的识别，提高英语的表现，但对葡萄牙语和加利西亚语的效果较差。

    May, 2022

  • Galician BERT 模型在句法能力与训练时间交互界面的计算心理语言学评估

    本文探讨 Transformer 模型在捕捉加利西亚语中的主谓和名词形容词一致性依赖方面的能力，并通过一系列词语预测实验来评估加利西亚语的现有单语和多语模型的性能，并对不同训练点上两个单语 BERT 模型的不同成就程度进行比较，得出了所需的训练步骤的有趣见解。

    Jun, 2022

  • 侧抑制和领域适应在多语言多词表达式识别中的应用

    为在多语境环境下准确识别多词表达式 (MWEs)，在所有第 1.2 版 PARSEME 语料库中可用的 14 种语言上对 mBERT 模型进行训练，并将侧向抑制和语言对抗性训练纳入方法中，以创建语言无关的嵌入并提高其识别多词表达式的能力，该方法在全球 MWE 识别中比 PARSEME 1.2 竞赛的最佳系统 MTLB-STRUCT 在 11 种语言中更好地实现，对于未见 MWE 识别中的 12 种语言，平均所有语言，我们的最佳方法在全球 MWE 识别上优于 MTLB-STRUCT 系统 1.23％，在未见全球 MWE 识别上优于 MTLB-STRUCT 系统 4.73％。

    Jun, 2023

  • Sabiá：葡萄牙语大语言模型

    在这篇论文中，我们证明了在目标语言上进行单语言预训练可以显著提高已经广泛训练于多个语料库的模型，并在 14 个葡萄牙语数据集上表现优于基于英语和多语言模型的模型。我们的结果表明，从单语预训练获得的大多数收益来自于领域特定知识。

    Apr, 2023

  • 神经语言模型中动词偏置表征的研究

    通过大规模数据集 DAIS，本文研究谓语偏向性对人类习惯表述的影响，探究神经语言模型对人类偏好的表达能力，结果表明基于 transformer 架构较基于循环神经网络较佳，并具有更好的语法信息融合表达能力。

    Oct, 2020