本文提出并测试了一种新的 PICO 区间检测方法，该方法不需要标注的区间数据，仅使用众包句子级注释来实现。该方法有助于将低质量众包和句子级 PICO 注释转化为可用于快速分配临床试验的结构化信息，并提高临床试验的回收率，减少了系统性回顾的时间。

Sep, 2021

该研究提供了一份 5000 份医学文章摘要的标注语料库，其中的标注包括描述人口、干预方法及比较、以及测量结果等关键信息，旨在协助检索医学文献并支持循证医学实践。

Jun, 2018

PICOX 通过识别开始和结束实体的单词，并使用多标签分类器将一个或多个 PICO 标签分配给跨度候选项，从而优于基线方法，在多个数据集上表现出更高的精确度、召回率和 F1 得分，并通过数据增强策略有效地减少了误报，提高了精确度。

Jan, 2024

该研究提出使用 intra-annotator agreement 衡量标签稳定性，通过 exploratory annotation experiments 探索其与主观性和歧义性之间的关系，为自然语言处理任务提供重要的质量控制。

Jan, 2023

研究了人类句法注释的两个关键特性：基于锚定和协议，通过 Penn Treebank WSJ 中的例句系统地获得英语依赖解析器的间注者一致性估计。发现锚定效应对人类编辑语法资源的创建有负面影响，并且通过该方法获得的语法注释质量低于基于人类的注释。

May, 2016

提出了一种基于疾病命名实体识别的 PICO 方法，使用深度学习模型从医学文献中提取出句子并将其分类，并在此基础上识别并分类出 P 和 O，并且通过实验结果展示了该方法可以取得比传统 PICO 提取方法更高的性能和细粒度的提取结果。

Apr, 2020

FactPICO 是一个针对医学文本的纯文本摘要事实性基准，通过细致评估和专家的自然语言解释，评估了基于 LLMs 的三种纯文本摘要生成模型（GPT-4，Llama-2 和 Alpaca）生成的 345 个 RCT 摘要的事实性，解析了 RCT 的关键元素（人口、干预措施、比较、结果）以及相关发现的准确性，也评估了 LLMs 添加的额外信息（如解释）的准确性，研究发现纯文本医学证据的摘要仍然具有挑战性，尤其是在简单性和事实性之间的平衡，并且现有的度量方法与专家判断在实例级别上的相关性较差。

Feb, 2024

提出一种名为 Learn2Agree 的学习框架，用于协调多个标注者之间的不确定性，以更好地进行医疗预测和诊断。

Sep, 2021

本研究提出了一种方法解决生物医学标记系统中标记实例匮乏的问题，该方法使用预训练编码器为任务提供文本表示，并通过使用标签文本作为输入来制造多个人工标记实例。实验结果表明，这种方法在 PICO 注释任务上实现了最新的最佳性能。

Oct, 2019

本文讨论了 Inter-Annotator Agreement 作为一种标签一致性的计量方式，在实际应用中的角色和含义，同时也提出了多种考虑和潜在问题，并建议有效的应对策略。

Jun, 2023