有机反应预测的专用和分析型指令调整和字节级语言模型

May, 2024

有机反应预测的专用和分析型指令调整和字节级语言模型

Specialising and Analysing Instruction-Tuned and Byte-Level Language Models for Organic Reaction Prediction

Jiayun Pang, Ivan Vulić

TL;DR通过该论文的系统经验研究，我们评估了基于 Transformer 编码器 - 解码器模型 FlanT5 和 ByT5 在有机反应预测中的影响，为将这些最先进的语言模型更有效地用于化学相关任务提供了指导。

Abstract

transformer-based encoder-decoder models have demonstrated impressive results in chemical reaction prediction tasks. However, these models typically rely on pretraining using tens of millions of unlabelled molecules, which can be time-consuming and GPU-intensive. One of the central que

transformer-based encoder-decoder models organic reaction prediction flant5 byt5 chemistry domain compatible

发现论文，激发创造

ReactionT5：大规模预训练模型用于有限反应数据的应用

利用深度神经网络中的基于 Transformer 的方法，在分子相关的预测任务中，通过将分子视为符号序列，解决了多种有机化学应用问题，并利用公开资源 Open Reaction Database (ORD) 对预训练进行了改进，进一步通过有限的微调数据展示了预训练模型的出色性能，ReactionT5 模型的预训练模型在 Hugging Face 平台上公开可用。

Nov, 2023

翻译中的发现”：使用神经序列到序列模型预测复杂有机化学反应的结果

该研究介绍了一种基于序列到序列模型的无模板反应预测方法，使用一种新型的可扩展标记方法，不涉及反应模板等辅助知识，达到了 80.1% 的准确率，其核心思想是运用语言学分析的思维方式来解决有机化学问题。

Nov, 2017

ChemBERTa-2：面向化学基础模型的发展

本文探讨使用 SMILES 语言构建化学基础模型 ChemBERTa-2，并经过预训练过程的优化，发现在分子预测任务上优于现有的最先进架构。

Sep, 2022

大型语言模型在目标情感分析中的应用

本文研究使用基于解码器的生成式 Transformer 来提取对俄罗斯新闻文章中的命名实体的情感分析能力，通过对 RuSentNE-2023 数据集进行实验，发现在无监督和有监督转换器中，零 - shot 方法的结果与以 BERT-base 为基线的有监督转换器相似，而经过 THoR 理论的 Fine-tuned Flan-T5 模型在推理能力上实现了至少 5% 的增长，并以 Fine-tuned Flan-T5-xl 取得了在 RuSentNE-2023 情感分析中超过先前基于 Transformer 的分类器的最佳结果。

Apr, 2024

ByT5: 面向预训练字节到字节模型的无令牌未来

本文研究了基于字节级别文本的 Transformer 架构，相比于基于词或子词的标准模型，该模型可处理任何语言的文本，更加稳健且精度更高，并开源了基于 T5 架构的预训练模型及所有实验所用代码和数据。

May, 2021

CodeT5+: 用于代码理解和生成的开源大型语言模型

提出了一种名为 CodeT5 + 的编译器 - 解码器语言模型，具有灵活的组件模块和多样化的预训练任务，能够在不同的代码相关基准测试中取得最先进的结果，特别是在针对人类评估的代码生成任务中。

May, 2023

CodeT5: 面向标识符的统一预训练编码器 - 解码器模型用于代码理解与生成

CodeT5 是一个基于编码器 - 解码器的统一预训练 Transformer 模型，它充分利用了开发人员分配的标识符所传达的代码语义，通过支持代码理解和生成任务以及多任务学习等方面，显著优于先前的方法，并且在代码缺陷检测和克隆检测等理解任务以及 PL-NL，NL-PL 和 PL-PL 等不同方向的生成任务中表现出色。

Sep, 2021

跨不同化学领域的迁移学习：利用在小分子和化学反应数据上预训练的深度学习模型进行有机材料的虚拟筛选

使用机器学习预测有机材料属性是一种高效的虚拟筛选方法，本研究证明药物类小分子和化学反应数据库可用于预训练 BERT 模型以进行有机材料的虚拟筛选，并展示了其在机器学习模型训练中的优越性能，进一步加强了跨不同化学领域的迁移学习在有机材料的虚拟筛选中的可行性。

Nov, 2023

使用反应预测预训练变形金刚进行分子属性预测

本文旨在使用反应数据进行预训练分子表示的过程，运用在 MoleculeNet 的 12 个分子属性预测任务上，结果显著地提高了预测模型的表现。

Jul, 2022

分子与自然语言的翻译

$\textbf {MolT5}$ 是一个自监督学习框架，可用于对大量未标记的自然语言文本和分子字符串进行预训练，允许新的、有用的和具有挑战性的类比于传统的视觉语言任务。

Apr, 2022