Feb, 2024

大型语言模型的不足：探察叙事中的复杂关系理解

PDF
TL;DR为了解决现有叙述理解数据集无法表示现实社交情景中关系的复杂性和不确定性的问题，我们引入了一个新的基准，Conan，用于从侦探叙述中提取和分析错综复杂的角色关系图。我们设计了层次关系类别，并从各个角色的角度手动提取和注释了面向角色的关系，包括大多数角色所知的公开关系和只有少数人知道的秘密关系。我们使用 GPT-3.5、GPT-4 和 Llama2 等先进的大型语言模型进行实验，揭示了它们在推理复杂关系和处理较长叙述方面的局限性。Conan 数据集和我们的流程策略的结合旨在验证大型语言模型在理解叙述情境中微妙关系动态的能力。
发现论文，激发创造
  • 利用大型语言模型增强知识图谱构建

    本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础 LLM 模型自动创建本体论的潜力，取得更相关和准确的知识图谱。

    May, 2023

  • 大型语言模型作为一致的故事可视化器

    StoryGPT-V 使用潜在扩散和大语言模型的优点，生成具有一致且高质量角色的图像，通过解决指代消解和对上下文的理解来提高生成准确性和忠实度。模型在视觉故事可视化上表现优异，并具有较低的内存消耗。

    Dec, 2023

  • 图上的大型语言模型：综合调查

    通过对大型语言模型在图形上的应用的详细技术和潜在场景进行系统回顾，我们总结了大型语言模型在纯图、文本丰富图和文本配对图中的优缺点，并讨论了其在真实世界应用中的方法以及开源代码和基准数据集。最后，我们提出了这一快速发展领域的潜在未来研究方向。

    Dec, 2023

  • 基于图卷积的大型语言模型用于推荐

    利用大型语言模型来改进描述文本的办法受到了研究者的关注，本论文提出了一种基于图卷积的大型语言模型方法，通过捕捉用户 - 物品图中的高阶关系来改进描述文本。在真实世界的数据集上进行了广泛的实验，结果表明我们的方法始终优于现有的最先进方法。

    Feb, 2024

  • StoryAnalogy: 从大型语言模型获取故事层面类比以解锁类比理解

    评估了通过构建首个大规模故事级类比语料库 StoryAnalogy 来识别和生成类比的能力，并发现类比识别任务对于句子嵌入模型和最近的大型语言模型（LLMs）都具有极高的挑战性。最终发现 StoryAnalogy 中的数据可以提高 LLMs 的类比生成质量，其中经过微调的 FlanT5-xxl 模型在零 - shot 情况下表现与 ChatGPT 相当。

    Oct, 2023

  • 大型语言模型是否能进行分析推理？

    本文探讨了在体育领域中的先进大型语言模型与分析推理能力。我们的分析推理涉及了在 NBA 和 NFL 比赛中，大型语言模型计算每个队伍在一个季度中得分的任务。我们的主要发现有两个方面。首先，我们发现在我们使用的所有模型中，GPT-4 是最有效的，其次是 Claude-2.1，而 GPT-3.5、Gemini-Pro 和 Llama-2-70b 则落后。具体而言，我们比较了三种不同的提示技术和一种分而治之的方法，我们发现后者最有效。我们的分而治之方法将逐个拆解比赛数据为更小且更易处理的片段，分别解决每个片段，然后将它们聚合在一起。除了分而治之的方法，我们还探索了思维链（CoT）策略，该策略明显改善了某些模型，尤其是 GPT-4 和 Claude-2.1 的效果，它们的准确率显著提高。然而，对于 GPT-3.5 和 Gemini-Pro 等其他模型，思维链策略则几乎没有或甚至具有负面影响。其次，令我们惊讶的是，尽管在计算 NFL 季度得分方面表现出色，但大多数模型，包括 GPT-4，却在准确计算 NBA 季度总分方面遇到困难。这促使我们进一步研究影响分析推理任务复杂性的因素，并通过大量实验得出结论，即任务的复杂性取决于上下文长度、信息密度和相关信息的存在。我们的研究为分析推理任务的复杂性和未来大型语言模型的发展方向提供了有价值的见解。

    Mar, 2024

  • LLM 增强的用户 - 商品交互：利用边缘信息进行优化推荐

    大型语言模型与图神经网络相结合，应用于图数据关系挖掘任务，并设计了一个创新的框架，将图数据的关系信息与自然语言有效结合，从而提高大型语言模型对图数据连通性信息的理解能力。

    Feb, 2024

  • 在图上评估大型语言模型：性能洞见与比较分析

    对四个大型语言模型在图数据分析问题上的能力进行评估，结果表明：1）大型语言模型能够有效地理解自然语言的图数据并进行图拓扑推理；2）GPT 模型能够生成逻辑和连贯的结果，在正确性方面优于其他替代方法；3）所有研究中的大型语言模型在结构推理方面面临挑战，零 - shot 推理和少 - shot 提示等技术效果减弱；4）在多答案任务中，GPT 模型常常产生错误答案，引发对可靠性的担忧；5）GPT 模型在输出上表现出较高的自信度，可能影响其纠正错误的能力。值得注意的是，GPT-4 显示了纠正 GPT-3.5-turbo 和其它版本回答的能力。

    Aug, 2023

  • 大型语言模型在分析碰撞叙述中的应用 ——ChatGPT、BARD 和 GPT-4 的比较研究

    交通安全研究中，使用文本分析从事故叙述中提取信息是一种常见做法。本研究使用了三种最流行的公开可用的大型语言模型接口（ChatGPT、BARD 和 GPT4）来探索它们在从艾奥瓦州和堪萨斯州的 100 个事故叙述中提取信息和回答相关问题方面的有效性和界限，结果显示在回答直接问题时相似性较高，但在回答复杂问题时较低，并建议从叙述中提取可行信息时使用多个模型并谨慎使用这些接口获取关键的安全相关信息。

    Aug, 2023

  • 用于生物医学因果图构建的大型语言模型

    本文提出一种利用 EMR 病历笔记来实现因果关系分析的机器学习方法，通过应用大型语言模型（LLMs）来解决医学研究中因果图构建的难题。

    Jan, 2023