Oct, 2023

PeTailor: 在生物医学三元组提取中通过定制的片段评分器改善大型语言模型

PDF
TL;DR本研究提出了一个增强型的基于句子切块和关系记忆的检索增强语言模型 PETAI-LOR，针对生物医学实体和其相互作用的自动提取问题，在专门设计的数据集上获得了最新的性能结果。
biomedical entitiesunstructured datapetai-lorlanguage modelstriple extraction
发现论文，激发创造
  • 基于大型语言模型的半结构化网络文章的高吞吐量生物医学关系抽取

    利用大型语言模型的阅读理解能力和生物医学领域知识，开发了一个高通量的生物医学关系提取系统，将关系提取任务作为一个简单的二分类问题，通过外部语料库和世界知识进行判断，并从可靠医学网站中提取多种类型的生物医学关系。

    Dec, 2023

  • 优化大型语言模型的召回率：基于模型协作的关系三元组抽取方法

    本论文设计了一种评估过滤框架，将大型语言模型与小型模型整合在一起，用于处理关系三元组提取任务，以获得更准确的提取结果。评估模型能够高精度提取相关实体对，并通过简单的标注原则和深度神经网络对模型进行嵌入，将输出作为提示加入到大型模型的提取过程中。通过大量实验证明，该方法可以帮助大型语言模型从含有多个关系三元组的复杂句子中获得更准确的提取结果，同时也能够嵌入传统提取模型以提高其从复杂句子中的提取准确率。

    Apr, 2024

  • 使用检索增强语言模型提高 GPT-3/4 在生物医学数据上的准确性

    本文研究了大型语言模型在特定领域中的性能，比较了多种模型回答 DLBCL 疾病的问题，发现 RetA 模型在准确性和相关性方面表现最好。

    May, 2023

  • 利用经过优化的大型语言模型从复杂的科技文本中提取结构化信息

    通过预先训练的语言模型 GPT-3，我们提出了一种简单的序列到序列方法来联合提取科学文本中的复杂层次信息的命名实体识别和关系抽取，并证明了这种方式能够准确提取复杂科学知识的有用记录。

    Dec, 2022

  • BMRetriever: 优化大型语言模型作为更好的生物医学文本检索器

    BMRetriever 是一系列密集的检索器，通过在大型生物医学语料库上进行无监督预训练，然后在标记数据集和合成对上进行指导微调，提升生物医学检索的效果。在 11 个数据集上的 5 个生物医学任务实验证实了 BMRetriever 在各种生物医学应用上的有效性。BMRetriever 还表现出强大的参数效率，410M 版本的性能超过了大约 11.7 倍更大的基准模型，2B 版本则与超过 5B 参数的模型的性能相匹配。培训数据和模型检查点发布在 https://huggingface.co/BMRetriever 以确保透明度、可重复性和在新领域中的应用。

    Apr, 2024

  • 生物医学自然语言处理中的大型语言模型：基准、基线和建议

    本研究通过实验验证了 GPT-3 和 GPT-4 在 8 个 BioNLP 应用中的性能表现，并对其识别错误进行了分析，提出了在 BioNLP 应用中使用 LLMs 的建议。

    May, 2023

  • 探索生物医学语言处理中指令调整的有效性

    利用指令调整（instruction tuning）技术，对两个规模庞大的通用语言模型进行研究，以期在生物医学自然语言处理任务上取得类似于 BioBERT 和 BioClinicalBERT 等特定编码器模型的结果，并提供了相应的代码、模型和基于指令的数据集。

    Dec, 2023

  • 从生物医学文献中进行意图识别和实体提取

    通过全面的实证评估，我们表明在生物医学文本中，受监督的微调方法仍然相关且比通用性的大型语言模型更有效，如 PubMedBERT 可以仅凭 5 个受监督示例就能在命名实体识别任务上超过 ChatGPT。

    Apr, 2024

  • 为复杂信息抽取任务微调和对齐问答模型

    使用提取式 QA 模型进行特征提取的方法可改善德语商业文档的信息提取，并通过微调现有德语 QA 模型提高性能，同时还讨论了评估信息提取任务的相关度得分指标。

    Sep, 2023

  • 基于检索增强的大语言模型的开放式命名实体识别指令调整

    探索了检索增强的指示调节（RA-IT）方法在信息抽取领域的应用，特别关注开放式命名实体识别任务，通过从训练数据集中检索语义相似的例子作为上下文，并将其前置到原始指示的输入中，验证了 RA-IT 方法在不同数据规模和中英文情景下的有效性。

    Jun, 2024