Jan, 2023

上下文至关重要：一种针对科学教育预训练语言模型的策略

PDF
TL;DR本研究旨在提高科学教育中学生答案自动评分的性能。使用科学教育数据预训练特定领域的语言模型可以提高性能，并在将来自动化科学教育任务方面具有潜在的普适性。
bert-based language modelsscience educationautomatic scoringpre-trainingsciedbert
发现论文，激发创造
  • G-SciEdBERT：一个面向德语科学评估任务的情境化语言模型

    为了提高德语科学教育作文自动评分准确性，本研究开发了一种针对德语科学教育领域评分的语境化德语科学教育 BERT (G-SciEdBERT)，经与 G-BERT 进行性能比较，发现 G-SciEdBERT 相较于 G-BERT 在评分准确性上有显著提高，并在教育人工智能领域做出了重要贡献。

    Feb, 2024

  • 针对生物医学自然语言处理的领域特定语言模型预训练

    本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

    Jul, 2020

  • SciBERT : 一个针对科技文本的预训练语言模型

    SciBERT 是一种无监督预训练的基于 BERT 的语言模型，用于解决获取高质量、大规模标注科学数据的难题，并在多个科学领域的数据集上展示出比传统 BERT 模型更卓越的性能。

    Mar, 2019

  • SsciBERT：用于社会科学文本的预训练语言模型

    本研究旨在通过基于 Social Science Citation Index (SSCI) 期刊发表的摘要的预训练模型来提高自然语言处理任务的性能，目前该模型已在 GitHub 上发布，并在学科分类、摘要结构 - 功能识别和命名实体识别任务中展现出了优秀的性能。

    Jun, 2022

  • 使用深度上下文语言模型进行表格搜索

    本文使用预训练的 BERT 模型来处理表格检索任务，研究如何编码表格内容以及如何将其他文献中的特征与 BERT 模型联合训练，实验表明这一方法在公共数据集上表现卓越。

    May, 2020

  • 预训练数据的成本效益选择：在社交媒体上预训练 BERT 的案例研究

    本文讲述了如何在特定领域的 BERT 模型中使用社交媒体文本进行预训练，通过相似度计算筛选出有效的预训练数据，并实验验证了在推特和论坛文本上进行预训练的模型可以提高下游任务的效果。

    Oct, 2020

  • 科技写作支持的语言模型微调

    本文提出了一种基于回归模型的科技句子识别方法，研究了科技公式和引文对于科技性评分的影响，构建了一种 AI 和机器学习标准文章版面的映射，提出了一种改进写作风格的软件，并训练了各种大型语言模型。

    Jun, 2023

  • 上下文对语言模型事实预测的影响

    本论文研究了在大规模无监督文本语料库上预训练的语言模型，结合信息检索系统以纯无监督方式来增强预训练语言模型，并成功提高了其零样本缺失式问答系统的性能，尤其通过使用不同的分隔符处理查询和上下文，让 BERT 能够更好的判断是否匹配上下文从而增加准确性和鲁棒性。

    May, 2020

  • 上下文 BERT：使用全局状态对语言模型进行调节

    该论文提出了两种新的全局状态方法，将其应用到时尚搭配领域，通过具体客户特征进行服装搭配，实验比较表明这种方法能显著提高个性化推荐的效果。

    Oct, 2020

  • 用于定位医学 BERT 和增强生物医学 BERT 的预训练技术

    本研究探讨了如何通过对特定语料库的过采样和使用更大的语料库进行预训练，在医学和其他领域中建立高性能的 BERT 模型以提高自然语言处理中信息提取的性能。

    May, 2020