本研究采用创新的全新药物设计策略，利用语言模型的能力为特定蛋白质设计有针对性的药物。我们采用强化学习框架和近端策略优化对模型进行优化，获得生成适用于蛋白质靶点的药物的策略。通过融合药物 - 靶点相互作用和分子有效性的综合奖励函数，我们的方法经过强化学习的微调展现出很大的潜力，在分子有效性、相互作用效果和关键化学特性方面实现了显著的改进，分别达到了 65.37 的药物热似度定量评估（QED）、321.55 的分子量（MW）和 4.47 的辛醇 - 水分配系数 (logP)。此外，在生成的药物中，仅有 0.041% 没有新颖性。

May, 2024

基于大型语言模型的研究中，引入了一种基于令牌级策略优化的熵调整强化学习方法（ETPO），致力于优化令牌级的语言模型，结果显示 ETPO 在数据科学代码生成任务中取得了良好的性能改进，具有优化交互决策能力的潜力。

Feb, 2024

通过引入一种称为能量排序对齐 (ERA) 的算法，我们可以优化自回归策略，利用显式的奖励函数来生成具有所需属性的分子，该算法与接近政策优化 (PPO) 和直接优化偏好 (DPO) 密切相关，并且在配对的首选项观察数量较少时相对于 DPO 性能良好。

May, 2024

本文提出了一种新的 Transformer 解码算法 PG-TD，使用规划算法进行预见性搜索和引导 Transformer 生成更好的程序，可以生成具有更高性能的程序，提升了控制代码生成的能力，并设计了一种机制使算法具有计算效率。

Mar, 2023

通过大型语言模型，我们提出了一种名为 InstructERC 的新方法，将情绪识别对话（ERC）任务从辨别性框架改为生成性框架，通过引入简单而有效的检索模板模块以及两个额外的情绪对齐任务，显式地整合多层次的对话监督信息和隐含的对话角色关系和未来情绪趋势，从而显著提高了性能，在三个常用的 ERC 数据集上达到了全面的 SOTA 水平。

Sep, 2023

我们介绍了一种用于分子全新设计的 Transformer 基准生成模型的微调方法，利用 Transformer 相比循环神经网络 (RNNs) 的优越序列学习能力，我们的模型可以有效地生成具有期望属性的分子结构。与传统的基于 RNN 的模型相比，我们提出的方法在生成被预测为对多种生物目标活性化合物方面表现出优秀性能，捕捉分子结构序列中的长期依赖关系。通过生成查询结构的类似物和产生具有特定属性的化合物等多项任务的验证，我们的方法在性能上优于基准的基于 RNN 的方法。我们的方法可用于脱轴融合 (scaffold hopping)，从单个分子开始的库扩展，以及生成对生物目标具有高预测活性的化合物。

Oct, 2023

通过训练两个自回归模型和四个自编码器模型，使用生物信息数据培训出来的语言模型（Language Models）能够在低推断开销下完成新的前沿预测，例如使用蛋白 LM - 嵌入 (ProtT5) 能够在无需使用进化信息的情况下，成功地进行氨基酸序列每残基预测，并出现在这个 https URL。

Jul, 2020

电子健康记录 (EHR) 的审计日志是一种高粒度的事件流，捕捉了临床医生的活动，对于研究临床医生工作流程的特征是一个重要的研究领域。现有的通过 EHR 审计日志衡量工作流程复杂性的技术，涉及到基于时间或频率的横断面聚合，无法捕捉完整的 EHR 会话复杂性。我们简要评估了基于变压器模型的表格语言模型（tabular LM）在度量工作流程内的动作序列的熵或无序度，并公开发布评估模型。

Nov, 2023

通过对不同的文本语法设计和训练算法选择进行广泛的实验，我们提出了一种新的基于强化学习的分子设计算法（ChemRLformer），并通过对 25 个分子设计任务的深入分析，包括计算复杂的蛋白质对接模拟，发现了这个问题领域的独特见解，并展示了 ChemRLformer 在文本分子设计中所取得的最新成果，同时还揭示了哪些设计选择对于文本分子设计实际上有帮助。

Oct, 2023

本文探讨了一种名为 EEL 的方法，使用 Transformers 对生成的输出的网状结构进行编码，结合新型的分词因素的迭代筛选算法 TFR，实现对 “下游指标” 进行重新排序的多文本生成任务模型的优化。通过实证研究，该算法的速度相对于传统算法提高不少，并且效果也比传统方法更好。

Jun, 2023