Feb, 2024

ProtLLM：一种蛋白质与语言相互交织的蛋白质语言模型，以蛋白质作为词的预训练

PDF
TL;DR我们提出了 ProtLLM，这是一个通用的跨模态大语言模型，用于蛋白质中心和蛋白质语言任务。ProtLLM 具有独特的动态蛋白质装配机制，能够处理自然语言文本与任意数量的蛋白质交织在一起的复杂输入。此外，我们提出了基于蛋白质作为单词的语言建模方法来训练 ProtLLM。通过开发专门的蛋白质词汇表，我们使模型能够从大量候选项中预测不仅自然语言，还包括蛋白质。另外，我们构建了一个大规模的交织蛋白质 - 文本数据集，名为 InterPT，用于预训练。该数据集全面包含蛋白质注释等结构化数据源和生物研究论文等非结构化数据源，从而赋予 ProtLLM 理解蛋白质的重要知识。我们在经典的监督蛋白质中心任务上评估了 ProtLLM，并探索了其新颖的蛋白质语言应用。实验证明，ProtLLM 不仅在蛋白质中心任务上表现出卓越性能，并且在蛋白质语言任务上具有零 - shot 和上下文学习能力。
protllmcross-modal large language modelprotein-centric tasksprotein-as-word language modelinginterpt
发现论文，激发创造
  • 增强大型语言模型的翻译能力的新范式

    本文介绍了一项关于增强大型语言模型（LLMs）在机器翻译（MT）任务中翻译能力的研究，提出了一个包括三个阶段的新范 Paradigm，通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练，以及利用和源语言一致的指导来进行监督微调。实验结果表明，我们的方法在翻译能力方面取得了显著的改进，超过了以前的工作，并在参数数量较小的情况下实现了优越的性能。

    Mar, 2024

  • 通过仅使用平行数据训练的大型语言模型研究翻译能力

    本研究引入了 PLUME（Parallel Language Model），该模型是由三个 2B LLMs 组成，采用不同词汇量（32k、128k 和 256k），并且完全基于加泰罗尼亚语为中心的平行语料进行训练。这些模型在 16 个有监督翻译方向和 56 个零样例下的翻译性能与之前的编码解码架构相当。利用这些模型，我们对 LLMs 的翻译能力进行了全面调查，探究其性能、提示的不同元素以及跨语言表示空间的影响。

    Jun, 2024

  • Tx-LLM: 大型药物治疗语言模型

    开发疗法是一个漫长而昂贵的过程，需要满足许多不同的标准，而能够加快这个过程的人工智能模型将是无价之宝。这篇论文介绍了 Tx-LLM，它是一个通用的大型语言模型，从 PaLM-2 中细调，能够编码关于不同治疗模式的知识，并在药物发现领域的多个阶段上同时进行预测，从而具有竞争力的性能。我们相信 Tx-LLM 是向编码生化知识的 LLMs 迈出的重要一步，未来可能成为整个药物发现开发过程中的一种端到端工具。

    Jun, 2024

  • ALMol：通过离线偏好对比优化实现对齐的语言 - 分子翻译 LLM

    化学和人工智能的交叉领域是一个积极研究的领域，旨在加速科学发现；该研究聚焦于机器翻译化学语言和分子模型，并采用一种新的训练方法，通过对比优化来提高模型性能。

    May, 2024

  • 使用大语言模型引导多语言语义分析器

    使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

    Oct, 2022

  • 化学 LLM 是否能从信息传递中受益

    预训练语言模型和信息传递神经网络在处理分子文本和分子科学领域展示了显著的能力。本文提出了两种策略来评估信息整合是否能增强性能：对比学习和融合，经实证分析表明，当应用于较小的分子图时，整合方法相比基准模型表现出优越性能，而当应用于大规模图时，这些整合方法并未带来性能改进。

    May, 2024

  • 大语言模型的同时机器翻译

    利用大型语言模型进行同传机器翻译，在训练推理不匹配的问题上引入了简单而有效的混合策略，并且通过在完整和前缀句子的混合训练上进行监督微调，实现了显著的性能改进，证明大型语言模型可以在翻译质量和延迟方面达到与专用同传机器翻译模型相当的水平。

    Sep, 2023

  • X-LLaVA: 优化双语大型视觉语言对齐

    我们提出了两种解决多模态模型创建训练数据方面的问题的有效方法，并基于这些方法构建了一个 91K 的英 - 韩 - 中多语言多模态训练数据集，并开发了一种双语多模态模型，在韩语和英语方面表现出优秀的性能，超过了现有方法。

    Mar, 2024

  • 将 LLMs 转化为跨模态和跨语言检索系统

    使用大型语言模型进行多模态双编码检索系统，能够在多种语言中匹配语音和文本，提升召回率并实现跨语言匹配。

    Apr, 2024

  • 大型语言模型是并行的多语种学习者

    通过将输入翻译成多种语言来提供多语言平行输入（PiM）给多语言大型语言模型（LLMs），从而显著提升它们的理解能力，实验结果表明，多语言输入有助于通过翻译超越传统的上下文学习，激活的神经元数量较少的现象与突触修剪的神经学理论吻合，有助于增强智力。

    Mar, 2024