Jun, 2022

SsciBERT：用于社会科学文本的预训练语言模型

PDF
TL;DR本研究旨在通过基于 Social Science Citation Index (SSCI) 期刊发表的摘要的预训练模型来提高自然语言处理任务的性能，目前该模型已在 GitHub 上发布，并在学科分类、摘要结构 - 功能识别和命名实体识别任务中展现出了优秀的性能。
social sciencepre-trained modelnatural language processingssci journalsnamed entity recognition
发现论文，激发创造
  • SciBERT : 一个针对科技文本的预训练语言模型

    SciBERT 是一种无监督预训练的基于 BERT 的语言模型，用于解决获取高质量、大规模标注科学数据的难题，并在多个科学领域的数据集上展示出比传统 BERT 模型更卓越的性能。

    Mar, 2019

  • 上下文至关重要：一种针对科学教育预训练语言模型的策略

    本研究旨在提高科学教育中学生答案自动评分的性能。使用科学教育数据预训练特定领域的语言模型可以提高性能，并在将来自动化科学教育任务方面具有潜在的普适性。

    Jan, 2023

  • 利用基于 BERT 的模型推动跨学科研究：通过 SciBERT-CNN 与主题建模的方法

    该论文介绍了一种使用 SciBERT 模型和 CNN 的新方法，通过处理摘要、正文、标题和关键词等多个部分，以解决多标签文本分类中的语义关系和类别不平衡问题，并在文献综述效率方面取得显著改进。

    Apr, 2024

  • MatSciBERT：用于文本挖掘和信息提取的材料领域语言模型

    本文介绍了在材料科学文献数据的基础上训练的一种面向材料科学领域的语言模型 MatSciBERT，并对其在抽象分类、命名实体识别和关系提取等领域的性能进行了评价。结果表明 MatSciBERT 在这些任务中具有优异的表现，可用于提取材料领域的信息以推动材料的发现或优化。同时我们提供 MatSciBERT 的预训练和微调权重，以及模型的免费访问权。

    Sep, 2021

  • BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

    本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

    Jan, 2019

  • 社会科学的 Transformer 编码器

    本文介绍了 Transformer Encoder for Social Science（TESS），这是一种紧凑预训练的深度神经网络，专门设计用于解决社会科学研究中的文本处理任务。经过两个验证测试，我们证明了在训练样本数量有限（＜1,000 个训练样本）时，TESS 的表现优于 BERT 和 RoBERTa 平均 16.7％。结果显示了 TESS 在社会科学文本处理任务上优于 BERT 和 RoBERTa 的优越性。最后，我们讨论了我们的模型的局限性并提出了未来研究的建议。

    Aug, 2022

  • SciFive：一个用于生物医学文献的文本到文本转换器模型

    SciFive 是一种预先训练于大型生物医学语料库的领域特定的 T5 模型，它优于当前 SOTA 方法（即 BERT，BioBERT 和 Base T5）在命名实体关系、关系提取、自然语言推理和问答任务上，特别是在需要更长、更复杂输出的生物医学自然语言处理任务方面，我们的结果支持探索更具挑战性的文本生成任务和该领域新方法的开发。

    May, 2021

  • ViSoBERT：用于越南社交媒体文本处理的预训练语言模型

    本文介绍了首个用于越南社交媒体文本的单语言预训练语言模型 ViSoBERT，该模型使用 XLM-R 架构，在大规模高质量多样化的越南社交媒体文本语料库上进行预训练，并在越南社交媒体文本的情绪识别、仇恨言论检测、情感分析、垃圾评论检测和仇恨言论跨度检测等五个重要的自然语言下游任务中超越了之前最先进的模型。

    Oct, 2023

  • G-SciEdBERT：一个面向德语科学评估任务的情境化语言模型

    为了提高德语科学教育作文自动评分准确性，本研究开发了一种针对德语科学教育领域评分的语境化德语科学教育 BERT (G-SciEdBERT)，经与 G-BERT 进行性能比较，发现 G-SciEdBERT 相较于 G-BERT 在评分准确性上有显著提高，并在教育人工智能领域做出了重要贡献。

    Feb, 2024

  • 预训练数据的成本效益选择：在社交媒体上预训练 BERT 的案例研究

    本文讲述了如何在特定领域的 BERT 模型中使用社交媒体文本进行预训练，通过相似度计算筛选出有效的预训练数据，并实验验证了在推特和论坛文本上进行预训练的模型可以提高下游任务的效果。

    Oct, 2020