Jun, 2024

基于 LLM 特征的对话建设性评估框架

PDF
TL;DR我们提出了一种新颖的 LLM 基于特征的框架，将基于特征的方法和神经网络方法的优势结合起来，评估对话的建设性。这个框架首先定义了一组与数据集无关且可解释的语言特征，然后利用这些特征训练 LLM 基于特征的模型，从而比传统基于特征的模型和神经模型表现更好，学习更强大的预测规则，而不是依赖表面的捷径。此外，我们证明解释这些 LLM 基于特征的模型可以获得有价值的对话建设性见解。
dialogue constructiveness assessmentfeature-based modelsneural modelsllm feature-based frameworklinguistic features
发现论文，激发创造
  • 利用 LLMs 进行对话质量测量

    该论文探讨了使用大型语言模型（LLMs）进行自动对话质量评估的方法，并在公共和专有数据集上尝试了各种配置。结果表明，更大的模型产生了更准确的对话标签；算法选择背景上下文示例优于随机选择；在输出最终标签之前，使用 “思维链”（CoT）推理和标签提取过程进行合理化，可以提高性能；精细调整的 LLMs 优于开箱即用的模型。研究结果表明，合适地调整和具有足够推理能力的 LLMs 可以用于自动对话评估。

    Jun, 2024

  • 大型语言模型中的偏见解读：一种基于特征的方法

    大型语言模型（LLMs）具有卓越的性能，在各种自然语言处理（NLP）任务中表现出色。本文通过一种新颖的基于特征的分析方法研究了 LLMs 内部偏见的传播。我们的发现揭示了 LLMs 中偏见的复杂性质并强调了定制的去偏方法的必要性，为有效缓解偏见机制和途径提供了更深入的理解。

    Jun, 2024

  • LLM 讨论：通过讨论框架和角色扮演提升大型语言模型的创造力

    通过模拟从不同背景和视角的参与者中进行互动讨论来提升大型语言模型创造力，采用三阶段的 LLM 讨论框架，引入角色扮演技术，实现了创造性答案的多样性、多维度的交流，通过多项创造力度量指标超越了现有的单一和多个 LLM 框架。

    May, 2024

  • LLM 谈判中的情感分析

    该论文介绍了一种用于情感分析的多 LLM 协商框架，其中包括一个推理注入生成器来提供决策及其理由，以及一个评估生成器可信度的解释推导鉴别器，通过迭代使生成器和鉴别器达成一致，从而解决了情感分析中的单一决策缺陷的问题。实验证明，该方法在各种情感分析基准上表现出更好的性能。

    Nov, 2023

  • 一个用于心理健康中大型语言模型的新颖细致对话评估框架

    我们提出了一个新颖的框架来评估大型语言模型（LLMs）的细致对话能力，将其应用于心理健康领域，并发现 GPT4 Turbo 在特定主题上表现出与经过验证的治疗师高度相关的成绩，从而帮助研究人员开发更好的 LLMs 以更积极地支持人们的生活。

    Mar, 2024

  • 知识增强大型语言模型的原则框架

    这篇论文介绍了一个严格设计的框架，用于创建能够有效锚定知识并采用闭环推理过程的大型语言模型，以提升其进行深入分析的能力，同时解剖了该框架的组成部分对模型性能的贡献，从而为改进推理能力提供了理论保证。

    Nov, 2023

  • 基于大型语言模型的情境对话用于第二语言学习

    在第二语言学习中，基于情景的对话实践对于语言学习者实现口语流利至关重要，本文提出了基于情境的对话模型，通过在大型语言模型（LLMs）上进行微调，旨在结合开放式对话的吸引力和基于情景任务的集中练习。利用 LLMs 的泛化能力，我们证明了我们的情境对话模型在训练话题和未遇到的话题上都有效，为支持广泛的会话主题提供了有希望的解决方案。此外，对话系统领域的研究仍缺乏可靠的自动评估指标，引发人工评估作为黄金标准（Smith 等，2022）的问题，而且通常成本较高。为了解决现有评估方法的局限性，我们提出了一种新颖的自动评估方法，利用经过微调的 LLMs 来高效而有效地评估情境对话模型的性能。

    Mar, 2024

  • 探究大型语言模型的对话理解能力

    最近大型语言模型（LLMs）的出现吸引了相当多的注意力。本研究提出利用对话摘要任务评估对话理解性能，并从生成的摘要中推导出事实性问题作为对话理解的更灵活的测量方式。评估结果表明，大多数 LLMs 生成的摘要中有 27% 的事实不一致，即使最强模型 ChatGPT 也有 16% 的错误摘要，而对于更具挑战性的事实问题回答，所有评估的 LLMs 的平均准确率仅为 62.8%。详细分析表明，LLMs 对话理解能力中最令人挑战的问题仍然是对话的主题 / 客体的理解，为了刺激和提高 LLMs 对话理解能力，我们提出了一种通过自动构建多任务数据进行微调的范式，实验结果显示我们的方法在 DIAC-FactQA 上获得了 8.9% 的准确率提升。

    Nov, 2023

  • 结构化信息的重要性：将抽象意义表示引入到 LLMs 中以提高开放域对话评估

    我们提出了一个简单而有效的开放域对话评估框架，通过将领域特定语言模型（SLMs）与 LLMs 结合起来，明确地通过门控机制将对话的抽象意义表示（AMR）图信息融入到 LLM 的提示中，以提高上下文学习性能，并在开放域对话评估任务中的实验结果证明了我们方法在区分对抗性负面回应方面的优越性。

    Apr, 2024

  • 冻结的大规模模型在多模态任务导向对话中的应用

    使用现有的 LENS Framework 来测试对话系统的多模态任务的可行性，与以往的基于 Transformer 的模型相比，我们的方法在流畅性、有用性以及相关性和连贯性上均有显著提升，同时证明了大规模预训练模型对于多模态任务导向对话系统的有效性。

    Oct, 2023