Jul, 2023

GujiBERT 和 GujiGPT：建立智能信息处理基础语言模型的古代文本

PDF
TL;DR我们介绍了古籍 BERT 和古籍 GPT 这两个基础模型，通过在包含简体和繁体中文字符的数据集上训练，这两个模型可以有效地处理与古籍相关的自然语言处理任务，这表明了使用自监督方法进一步训练模型能够提高其应对下游任务的能力。同时，我们开发了三个不同类别的共九个模型变体，以满足数字人文和语言学研究人员的不同文本处理偏好。
large language modelsgujibertgujigptancient textsnatural language processing
发现论文，激发创造
  • SikuGPT：数字人文视角下的古代文献智能信息处理生成式预训练模型

    本研究提出了一种名为 SikuGPT 的 GPT 模型，旨在处理古代文本并超过其他 GPT 型模型的性能，有望促进中国古代文化的国际传播和古代信息的组织。

    Apr, 2023

  • 法务 GPT：一个中国法律知识增强型大型语言模型

    LawGPT 是第一个专门为中国法律应用设计的开源模型，通过在大规模中国法律文件上进行法律导向的预训练和法律指导下的精细调优，LawGPT 在下游法律任务的表现优于开源模型 LLaMA 7B。

    Jun, 2024

  • 基于 GPT 的古典华语诗歌生成

    利用预训练语言模型生成高质量文言诗的简单有效方法。该方法采用 GPT 模型，生成各种形式的文言诗，包括绝句、律诗、词牌和对联。同时进行了微调并实现了生成藏头诗的方法。我们已在微信上发布了一个在线演示程序，以展示这种方法在生成文言诗方面的能力。

    Jun, 2019

  • AcademicGPT：学术研究的赋能

    AcademicGPT 是一个专为学术研究而设计的模型，通过从学术论文、论文、某些学术领域内容、高质量的中文数据等中进行持续训练，展示了其从广泛知识能力、中文能力到学术能力的各项实用能力和多个领域特定的应用。

    Nov, 2023

  • 关于中国文本纠错的大型语言模型的 (非) 有效性

    对 ChatGPT 进行中文文本纠错的评估，发现 ChatGPT 在中文文本纠错中表现出令人惊讶的性能，但也存在一些不令人满意的问题。

    Jul, 2023

  • ChineseBERT: 利用字形和拼音信息加强的中文预训练模型

    本文提出了一种新的预训练语言模型 ChineseBERT，将汉字的字形、拼音信息融合到语言模型预训练中，该模型在多个汉语自然语言处理任务上取得了新的最佳表现。

    Jun, 2021

  • TechGPT-2.0：大型语言模型项目解决知识图谱构建任务

    TechGPT-2.0 是一个项目，旨在增强大型语言模型在知识图谱构建任务中的能力，包括命名实体识别（NER）和关系三元组抽取（RTE）任务。此外，它也是一个面向中国开源模型社区的可访问的 LLM。

    Jan, 2024

  • 古代汉语 CWS 和 POS 的基于不确定性的检索框架

    提出古代汉语词分割和词性标注框架，通过捕捉词性语义和引入外部知识重新预测基线模型的不确定样本，有效提升性能。

    Oct, 2023

  • 江：中文开放基础语言模型

    通过优化词汇设计和训练语料库，我们推出了 JIANG 模型，该模型专门为中文而设计，取得了优异的性能。

    Aug, 2023

  • BioGPT：用于生物医学文本生成和挖掘的生成式预训练变形器

    本文提出了一种基于大规模生物医学文献预训练的领域特定生成 Transfomer 语言模型 ——BioGPT，用于生物医学领域的自然语言处理任务，结果表明 BioGPT-Large 在 PubMedQA 任务上取得了 81.0% 的准确率，并提高了 BC5CDR、KD-DTI 和 DDI 关系提取任务的 F1 得分。

    Oct, 2022