Feb, 2024

激发隐式言论关系注释

PDF
TL;DR对于 ChatGPT 而言，在隐性话语关系分类任务中，使用标准的多项选择问题提示尚不令人满意，且远远不及最先进的有监督方法。本研究通过尝试多种证实的提示技术来提高 ChatGPT 对话语关系的识别能力，但实验结果表明，即使使用复杂的提示工程，推理准确性几乎没有改变，暗示隐性话语关系分类在零样本或少样本情况下尚未得到解决。
pre-trained large language modelschatgptimplicit discourse relation classificationprompting techniqueszero-shot or few-shot settings
发现论文，激发创造
  • ChatGPT 句子级关系评估：重点关注时间、因果和语篇关系

    该研究针对 ChatGPT 大型语言模型，通过对 13 个数据集的测试集进行综合评估，采用了三种任务定制型 prompt 模板，发现 ChatGPT 对于识别因果关系具有较强的能力，但在识别事件之间的时间顺序方面表现较差，并在需要结构性理解对话的对话语篇分析任务中表现不佳。

    Apr, 2023

  • 聊天 GPT 在对话中的话语分析潜力：实证研究

    本研究探讨了 ChatGPT 在话语语篇分析中的能力，特别是话题分割、话语关系识别和话语分析三个任务的能力。结合创新的思维链（COT）方法，发现 ChatGPT 对于话题分割有较好的表现，但在话语关系识别和话语分析等较难的任务中有待提高。

    May, 2023

  • 通过多任务神经网络的隐式语篇关系分类

    本文提出一个新的卷积神经网络嵌入多任务学习系统，用于综合 PDTB 语料库内多个特定于每个语料库的言语分类任务，并展示实验结果表明我们的模型可以显著提高 Implicit discourse relation classification 任务的性能。

    Mar, 2016

  • 使用 ChatGPT 进行零 - shot 时序关系抽取

    本文探讨了 ChatGPT 在零 - shot 时序关系抽取中的应用能力，并且设计了三种不同的提示技术来解决该任务。实验表明 ChatGPT 的性能与监督方法有较大差距，并且在时间推理过程中可能存在不一致性和长依赖时序推理失败的问题。

    Apr, 2023

  • 预训练的语句嵌入用于隐式语篇关系分类

    本文针对隐含的语篇关系进行了意义预测，利用预训练的句子嵌入作为神经网络基础表示，分别使用监督学习和预训练编码技术 - SkipThought，Sent2vec 和 Infersent 进行实验，并证实两种方法可以相互补充，结合模型可以显著提高模型性能。

    Oct, 2022

  • 使用语言模型推理复杂问题中的隐式关系

    研究现代语言理解系统面临的一个重要挑战是回答隐含推理问题，本研究通过将推理步骤的推断与执行分离，探究当前模型为何难以应对隐含推理问答任务，并构建 IMPLICITRELATIONS 基准测试，评估 GPT-3 系列模型在任务上的表现，发现这些模型在隐含推理问答任务上表现不佳，但在推断隐含关系方面表现良好。这表明隐含推理问题的挑战不仅在于需要规划推理策略，而且在于在检索和推理相关信息的同时进行推理。

    Apr, 2022

  • 基于标注启发的隐式语篇关系分类及辅助语篇连词生成

    研究了如何在缺乏话语连词的情况下进行隐含话语关系分类，设计了一种神经网络模型，通过预测和生成连词来实现话语关系的分类。实验结果表明，在 PDTB 2.0，PDTB 3.0 和 PCC 三个数据集上，该模型明显优于其他基线模型，从而表明了该模型的长处。

    Jun, 2023

  • 揭开 ChatGPT 的面纱：对人工智能生成的以目标为导向的对话和注释进行关键分析

    本文探讨了预训练语言模型在生成目标导向对话方面的潜力，并通过 ChatGPT 在三类目标导向对话、两种生成模式和两种语言的实验中进行了评估，结果表明生成的对话和注释质量与人类相当。

    May, 2023

  • 英语隐含语篇关系分类的 Transformer 之间的并排比较

    基于 PDTB-3 数据集，通过对七个预训练语言模型的直接性能比较，我们的模型搜索将 SOTA 提高到了 0.671 的准确率，同时得到了一些新的观察结果，其中包括相对于之前的报道（Shi 和 Demberg, 2019b），句子级预训练目标（NSP，SBO，SOP）通常无法产生最佳性能的模型。反直觉的是，具有类似规模的 MLM 和全关注机制的 PLM 表现更好。

    Jul, 2023

  • 基于预训练大型语言模型的超关系知识图谱构建

    使用基于 OpenAI 的 GPT-3.5 模型的零样本提示方法，从文本中提取超关系知识。与基准线进行比较，取得了有希望的结果，召回率为 0.77。尽管精确性目前较低，模型输出的详细分析揭示了未来研究领域的潜在路径。

    Mar, 2024