Feb, 2024

G-SciEdBERT：一个面向德语科学评估任务的情境化语言模型

PDF
TL;DR为了提高德语科学教育作文自动评分准确性，本研究开发了一种针对德语科学教育领域评分的语境化德语科学教育 BERT (G-SciEdBERT)，经与 G-BERT 进行性能比较，发现 G-SciEdBERT 相较于 G-BERT 在评分准确性上有显著提高，并在教育人工智能领域做出了重要贡献。
natural language processingautomated scoring systemsgermang-sciedbertscience education
发现论文，激发创造
  • 上下文至关重要：一种针对科学教育预训练语言模型的策略

    本研究旨在提高科学教育中学生答案自动评分的性能。使用科学教育数据预训练特定领域的语言模型可以提高性能，并在将来自动化科学教育任务方面具有潜在的普适性。

    Jan, 2023

  • GottBERT: 纯德语语言模型

    该研究介绍了 GottBERT，它是德语单语言 RoBERTa 模型的首次发布，并成功在命名实体识别任务和文本分类任务上超越了其他测试的德语和多语种模型，以期支持德语自然语言处理领域。

    Dec, 2020

  • SciBERT : 一个针对科技文本的预训练语言模型

    SciBERT 是一种无监督预训练的基于 BERT 的语言模型，用于解决获取高质量、大规模标注科学数据的难题，并在多个科学领域的数据集上展示出比传统 BERT 模型更卓越的性能。

    Mar, 2019

  • 德国的下一代语言模型

    本文介绍了我们使用 BERT 和 ELECTRA 基于德语的语言模型 GBERT 和 GELECTRA 的实验，通过改变输入训练数据、模型大小和整个单词掩蔽（WWM）的存在，我们成功实现了在基础和大型模型的文件分类和命名实体识别（NER）任务中取得 SoTA 性能。我们的训练数据采用了 “评估驱动方法”，表明加入更多的数据和使用 WWM 都能提高模型性能。通过对现有德语模型进行基准测试，我们证明这些模型是迄今为止最好的德语模型。我们的训练模型将公开提供给研究社区。

    Oct, 2020

  • 基于上下文 BERT 调整的阅读理解自动评分

    本文介绍了一种利用在场 BERT 调整的方法来解决在多问题共享阅读材料的阅读理解测试中的自动评分问题，并证明了这种方法的有效性。

    May, 2022

  • SsciBERT：用于社会科学文本的预训练语言模型

    本研究旨在通过基于 Social Science Citation Index (SSCI) 期刊发表的摘要的预训练模型来提高自然语言处理任务的性能，目前该模型已在 GitHub 上发布，并在学科分类、摘要结构 - 功能识别和命名实体识别任务中展现出了优秀的性能。

    Jun, 2022

  • 拉丁 BERT: 古典语言学的上下文语言模型

    我们介绍了 Latin BERT，它是一种针对拉丁语言的上下文语言模型。在多个案例研究中，我们展示了该模型在自然语言处理和传统学术研究中的多种应用，比如在所有三个拉丁语通用语义数据集上都取得了最新的最佳词性标注成果，并通过查询上下文最近邻实现了语义上信息化的搜索。

    Sep, 2020

  • 德国 FinBERT：一种德语预训练语言模型

    德国 FinBERT 是一种专门针对金融文本数据的新型预训练德语语言模型，通过综合的预训练过程进行训练，利用包括德国公司财务报告、临时公告和新闻在内的大量语料库。评估结果表明，在金融领域数据上，德国 FinBERT 在情绪预测、主题识别和问答等下游任务中表现出了改进的性能，表明其捕捉领域特定细微差别的效果，该研究认为德国 FinBERT 有望成为金融文本分析中有价值的工具，有潜在的应用于金融领域的多个应用场景。

    Nov, 2023

  • 德国 BERT 法律命名实体识别模型

    本研究 fine-tune 了一个受欢迎的德语 BERT 语言模型，用于 Legal Entity Recognition（LER）数据集，结果表明我们的模型在 LER 任务上表现比 BiLSTM-CRF+ 模型更优，并通过 HuggingFace 对外公开。

    Mar, 2023

  • KG-BERTScore：将知识图谱融入 BERTScore 用于无参考机器翻译评价

    本文研究了机器翻译自动评估方法，并将多语言知识图谱融入 BERTScore 之中，提出了一种名为 KG-BERTScore 的评估指标，通过线性组合 BERTScore 和双语命名实体匹配的结果来评估无需参考译文的机器翻译质量，并在实验中证明 KG-BERTScore 相比当前无参考机器翻译评价方法更接近于人工评估结果。同时，本文还探究了 KG-BERTScore 所用到的预训练多语言模型和线性组合参数。

    Jan, 2023