Oct, 2023

PETA: 基于亚词分词的蛋白质迁移学习对下游应用的影响评估

PDF
TL;DR基于 14 种不同词汇大小的 PETA 训练语言模型在 33 个多样的下游数据集上进行了数千次测试，研究表明词汇大小在 50 到 200 之间对于模型的优化最佳，而超过 800 的大小则对模型的表征性能产生不利影响。
protein language modelsvocabulary sizepre-trained modelbenchmarkrepresentational performance
发现论文，激发创造
  • 利用大规模预训练语言模型建模蛋白质

    使用大规模的语言模型，可以从蛋白质序列中准确捕捉到进化信息，并在标记层和序列层任务中取得了显着的改进。

    Aug, 2021

  • LLM 培训的标记器选择：微不足道还是至关重要？

    在大规模预训练语言模型（LLMs）中，我们进行了一项全面研究，探究了分词器选择对下游性能、训练数据集和词汇量的影响。研究发现，分词器的选择可以显著影响模型的下游性能、训练和推理成本，并指出常用的分词器评估指标并不能准确预测模型性能，特别是多语言分词器在词汇量方面需要比英语增加三倍。在训练多语言 LLMs 时，仅采用英语分词器会导致严重的性能下降和高达 68% 的额外训练成本，因为其分词词汇表效率低下。

    Oct, 2023

  • ProtTrans：通过自监督深度学习与高性能计算攻克生命密码的语言

    通过训练两个自回归模型和四个自编码器模型，使用生物信息数据培训出来的语言模型（Language Models）能够在低推断开销下完成新的前沿预测，例如使用蛋白 LM - 嵌入 (ProtT5) 能够在无需使用进化信息的情况下，成功地进行氨基酸序列每残基预测，并出现在这个 https URL。

    Jul, 2020

  • 学习您的标记：用于语言建模的单词汇总分词

    这篇论文通过学习词边界将字节 / 字符聚合成词表示，并在主要语言模型中解码个别字符 / 字节，结果表明这种分词方式在代表下一个词的预测模型测试中表现得比子词和字节 / 字符模型更好，特别是在稀有词方面达到了 30 倍的效果提升。

    Oct, 2023

  • 赋予蛋白质语言模型结构知识

    利用蛋白质结构数据提升蛋白质语言模型的新框架，通过整合结构信息和结构提取模块，优化了预训练语言模型的自注意机制，此框架在蛋白质功能预测上表现优越，为蛋白质建模提供更有效和高效的方法。

    Jan, 2024

  • 大型语言模型用于蛋白质理解的微调数据集和基准评估

    通过整合前期训练模型和预训练的语言模型，本研究提出了 ProteinLMDataset 数据集和 ProteinLMBench 基准数据集，用于提升大型语言模型在蛋白质序列理解方面的能力，并通过实验证明其在蛋白质理解能力方面超越了 GPT-4。

    Jun, 2024

  • 大语言模型在提取分子相互作用和通路知识方面的比较性能评估

    利用大型语言模型自动从相关科学文献中提取知识，研究识别蛋白质相互作用、通路和基因调控关系的任务效果，并评估不同模型的性能，讨论了该方法的未来机遇和挑战。

    Jul, 2023

  • 蛋白质语言模型是否计算优化？

    通过研究蛋白质语言模型的规模定律，我们发现 pLM 的大小在计算预算范围内呈次线性增长，表现出随着模型规模增加性能递减的现象。研究结果显示 pLM 的训练损失也存在性能平稳期，这表明广泛使用的 pLM 可能不会在计算效率上达到最佳状态，而使用更大的模型能更高效地实现收敛。通过在较小的数据集上训练一个 35M 模型，我们得到了与更大模型（如 ESM-2（15B）和 xTrimoPGLM（100B））相当的困惑度结果，这为更高效地训练和在计算生物学中的实际应用 pLM 铺平了道路。

    Jun, 2024

  • 自适应分词的语言模型高效域适应

    通过适应标记器，将预训练语言模型转移到新领域，提供了与基于专门领域的预训练方法相当的性能，同时生成的模型更小且训练和推断时间更短。

    Sep, 2021

  • 领域内翻译最佳微调的词汇和 BPE 设置的系统分析 —— 以 NMT 为例

    本文对不同的子词分词策略、词汇生成方法及 Fine-tuning 进行了系统的实证研究，旨在找到一种最佳的 Fine-tuning 领域特定模型的设置，实验结果表明最好的模型达到了比基线模型 6 个 BLEU 分数的提升效果。

    Mar, 2023