May, 2024

利用负样本挖掘提升蛋白质语言模型

PDF
TL;DR通过在蛋白质对应的网络中训练转化器模型以提取负样本中的宝贵见解，我们引入了一种创新的方法来提高大型语言模型在蛋白质表示学习领域的性能，这种先进的策略不仅增强了性能，还可以反映出蛋白质所表现出的微妙的生物行为，与蛋白质相互作用等传统生物机制相一致，为蛋白质研究和计算生物学的进一步发展开辟了有希望的前景。
protein representation learningco-evolution knowledgenegative samplestransformer-based modelsprotein-protein interaction
发现论文，激发创造
  • LEMON: 知识图谱嵌入负采样的语言模型

    本文提出了一种利用预训练语言模型来生成负样本的方法，该方法利用实体之间的距离通过它们的文本信息形成邻域集群，以得到符号实体的表示形式，有效地应用于基准知识图谱的链接预测任务。

    Mar, 2022

  • 利用负采样改进上下文化主题模型

    本文提出了一种基于负采样机制的上下文主题模型，通过扰动生成的文档 - 主题向量，并利用三元组损失函数，鼓励从正确文档 - 主题向量重构出来的文档与输入文档相似，与从扰动向量重构出来的文档相异，实验证明该方法在不同主题数量公开数据集上得到了改善。同时该模型具有较高的主题多样性。

    Mar, 2023

  • 利用大规模预训练语言模型建模蛋白质

    使用大规模的语言模型，可以从蛋白质序列中准确捕捉到进化信息，并在标记层和序列层任务中取得了显着的改进。

    Aug, 2021

  • 利用全局生成模型探索蛋白质序列空间

    该研究总结了在蛋白质研究中使用语言模型的应用，包括设计新型人工蛋白质、使用非 Transformer 结构以及应用于定向进化方面。这些成果已经快速提升了蛋白质研究的发展和性能。

    May, 2023

  • ProtTrans：通过自监督深度学习与高性能计算攻克生命密码的语言

    通过训练两个自回归模型和四个自编码器模型，使用生物信息数据培训出来的语言模型（Language Models）能够在低推断开销下完成新的前沿预测，例如使用蛋白 LM - 嵌入 (ProtT5) 能够在无需使用进化信息的情况下，成功地进行氨基酸序列每残基预测，并出现在这个 https URL。

    Jul, 2020

  • 基于投影学习的上下位关系抽取通过负采样方法改进

    本文介绍了一种新的基于投影学习和词嵌入的上义词提取方法，并通过使用负例子明确地规范化模型来提高上义词预测性能。

    Jul, 2017

  • 盲突变影响预测的多级蛋白质表示学习

    本文提出了一种新的预训练框架，它将用于蛋白质主体结构和三级结构的序列和几何分析器级联，模拟野生型蛋白质的自然选择并评估变体的效果，以指导遗传突变方向，实现所需特征，提出了一种新的变体影响预测方法，其预测结果在单点和深部变异方面表现良好。

    Jun, 2023

  • 针对性负训练实现语言模型的最小目标更新

    提出了一种名为目标负向训练（Targeted Negative Training，TNT）的方法，通过使用模型生成的负面样本，实现了最小化目标化更新，以避免生成不希望的结果，同时最小程度地改变模型的行为。TNT 方法在减少不需要的行为和保持模型生成行为之间取得了更好的平衡，为基于迭代训练更新、限制生成不希望结果的模型范式铺平了道路。

    Jun, 2024

  • 为训练基于语言的目标检测器生成增强的负样本

    借助大规模数据和生成模型，我们提出利用负面样本来改进基于语言的开放词汇目标检测，实验结果表明这种方法提高了性能。

    Dec, 2023

  • PETA: 基于亚词分词的蛋白质迁移学习对下游应用的影响评估

    基于 14 种不同词汇大小的 PETA 训练语言模型在 33 个多样的下游数据集上进行了数千次测试，研究表明词汇大小在 50 到 200 之间对于模型的优化最佳，而超过 800 的大小则对模型的表征性能产生不利影响。

    Oct, 2023