提出 SemEval-2024 任务 2：用于临床试验的安全生物医学自然语言推理，旨在挑战大语言模型在干预和因果推理任务方面的能力，并提供方法和结果的全面评估，以促进医疗保健领域中自然语言推理模型的鲁棒性和适用性，确保在临床决策中更安全可靠的 AI 辅助。

Apr, 2024

这篇论文介绍了 SemEval 2023 任务 7 的结果 -- 临床试验数据的多证据自然语言推断（NLI4CT），包括两个任务：自然语言推断任务和临床试验数据的证据选择任务。

May, 2023

对大型语言模型在处理安全生物医学自然语言推理问题上的鲁棒性和一致性进行了研究，利用检索增强生成框架对预训练语言模型进行了比较分析，并在零样本设置下评估了它们的推理和解决问题能力。

Apr, 2024

通过语义扰动和特定领域词汇替换生成合成示例，并添加数值和定量推理新任务，以改进生物医学临床试验中自然语言推理模型的鲁棒性，结合多任务学习和 DeBERTa 结构，相较于原始语言模型在 NLI4CT 2024 基准上取得了显著的性能改进。

Apr, 2024

本篇论文介绍了一个新的 NLI4CT 资源，包括两个主要任务：确定自然语言陈述和 CTR 之间的推理关系以及检索支持事实以证明预测关系。该资源暴露了现有 NLI 模型的局限性，为 CTR 推理提供了基础，大大推进了 CTR 的个性化医疗领域的研究。

May, 2023

本文介绍了一种基于多层次推理网络 (MGNet) 和 T5-based model SciFive 的多粒度文字蕴含和证据检索系统，并集成了模型集成和联合推理等方法，实现了在 NLI4CT 任务中的最佳表现。

Jun, 2023

通过合并使用三元组和语言建模目标单独进行微调的适配器，提出了一种用于改进大型语言模型（LLMs）一致性的 PEFT 方法。然而，与 GPT-4 相比，我们的新方法在忠实度和一致性方面没有产生更准确的结果。综合三个度量指标，GPT-4 在比赛中以 0.8328 的分数并列第一。最后，通过与 GPT-4 的污染分析，表明没有测试数据泄露。

Mar, 2024

本论文通过在临床试验报告中应用自然语言推理模型进行的一项多证据文本蕴含（NLI）任务，描述了基于微调和合并遮蔽语言模型以及使用模板的大型语言模型（如类比思维链和对比类比思维链）的两种不同方法的测试。使用辅助 Flan-T5 large 模型在 2 次迭代的情况下，实现了最佳系统，得分为 0.57 F1，0.64 忠实度和 0.56 一致性。

Apr, 2024

我们评估了在临床试验报告数据集上使用医学领域的热门开源和闭源大型语言模型的自然语言推理能力，并分析了它们在具有医学缩写和数量 - 定量推理要求的挑战性实例上的表现。Gemini，我们的领先大型语言模型，在测试集上获得了 0.748 的 F1 分数，在任务排行榜上位列第九。我们的工作是第一种在医学领域内全面检验大型语言模型的推理能力的工作。

May, 2024

我们提出了 SemEval 2024 任务 2 挑战的基线，其目标是确定临床试验报告部分和陈述之间的推理关系。我们应用语言模型作为服务（LMaaS）的 LLM Instruct 模型进行提示优化技术，并观察到合成 CoT 提示显著增强了手工制作的提示，与最近的研究结果一致。

May, 2024