Jun, 2024

利用时间一致性对临床笔记进行零样本时间关系提取分析

PDF
TL;DR本研究首次针对生物医学文本的零样本情况进行时间关系提取的研究，通过使用两种类型的提示和五种 LLMs 获得关于两个事件之间时间关系的响应，实验证明 LLMs 在零样本情况下的表现不如经过精调的专用模型，存在时间一致性问题。
temporal relation extractionzero-shot settingbiomedical textllmstemporal consistency
发现论文，激发创造
  • 使用 ChatGPT 进行零 - shot 时序关系抽取

    本文探讨了 ChatGPT 在零 - shot 时序关系抽取中的应用能力，并且设计了三种不同的提示技术来解决该任务。实验表明 ChatGPT 的性能与监督方法有较大差距，并且在时间推理过程中可能存在不一致性和长依赖时序推理失败的问题。

    Apr, 2023

  • 再探大型语言模型作为零 - shot 关系抽取器

    本研究聚焦于使用大型语言模型作为无样本关系抽取器。通过分析现有关系抽取提示的不足之处，并引入诸如 CoT 的最新提示技术，我们提出了一种名为 SumAsk 的简单提示方法，通过使用大型语言模型将关系抽取输入转化为有效的问答格式。同时，我们在各种基准测试和设置上进行了广泛的实验，研究了大型语言模型在无样本关系抽取方面的能力，发现 SumAsk 方法在不同模型尺寸、基准测试和设置上都能显著提高大型语言模型的性能，在与无样本和完全监督方法相比具有一定竞争力甚至优越性能的同时，大型语言模型在提取重叠关系方面表现出了良好的性能，然而，不同的关系之间性能差异较大，大型语言模型相较于小型语言模型在处理挑战性的无适用项关系时表现出了有效性。

    Oct, 2023

  • 基于检索增强的 LLMs 的事件时间关系抽取

    利用大型语言模型从相关知识中检索来增强提示模板和语言生成器的新型检索增强事件时间关系抽取方法，通过生成各种创意来有效提高事件时间关系抽取任务的性能。

    Mar, 2024

  • 无监督学习事件之间的时间关系

    本文介绍了两种旨在实现无人监督的时间关系提取方法，第一种基于弱监督机器学习方法和互联文献数据集，第二种是基于期望最大化算法和不同的技术手段，我们的实验结果表明，所提出的两种方法无需额外的注释数据即可实现从事件之间提取时间关系，并实现了比以往更高的准确性。

    Jan, 2014

  • 零样本神经机器翻译中一致性的达成

    通过将多语言翻译问题重新构造为概率推理，定义了零 - shot 一致性的概念；引入了一种基于一致性约束的训练方法，鼓励模型在辅助语言中生成等效的平行句子翻译，最终我们测试了多种公共的零 - shot 翻译基准数据集，并证明基于一致性约束训练的 NMT 模型通常会在无监督翻译任务上取得 2-3 BLEU 的提高，而在监督翻译任务上的性能不会降低。

    Apr, 2019

  • 零样本分类中的提示复杂度导航：计算社会科学中大型语言模型的研究

    在计算社会科学分类任务中，评估了 ChatGPT 和 OpenAssistant 两种公共可访问的 LLM 的零次效果，并研究了各种提示策略的影响。发现在零次设置下，当前 LLMs 无法与较小的经过微调的基线变压器模型（如 BERT）的性能匹配。此外，发现不同的提示策略可以显着影响分类准确性，准确性和 F1 分数的差异超过 10％。

    May, 2023

  • ChatGPT 中零样本命名实体识别的实证研究

    该论文主要研究大型语言模型在零 - shot 信息提取方面的性能，并提出针对命名实体识别的推理策略，包括分解式问答范式、句法增强和自一致性等方法，并在七个基准测试中取得了显著的改进，对错误类型进行了全面分析，并验证了这些方法在少样本情况和其他大型语言模型中的有效性。

    Oct, 2023

  • 把握要点：为零 shot 关系抽取量身定制大型语言模型

    通过使用语言模型生成初始种子实例并结合反馈进行改进，在关系抽取任务中实现零样本学习，取得了较基准方法更好的性能。

    Feb, 2024

  • 大型语言模型是否具有时间性基础？

    大型语言模型在时间上没有实质依据，缺乏自洽性并且表现出不一致的行为性。

    Nov, 2023

  • 零射机临床试验患者匹配与 LLMs

    利用大型语言模型加速临床试验操作，设计了一个基于零 - shot 方法的系统来评估患者是否符合试验纳入标准，并通过优化数据和成本效率以及提高解释性来改进该方法。

    Feb, 2024