Nov, 2023

步骤步骤实现公平：在面向任务的对话系统中归因社会偏见

PDF
TL;DR使用预训练的大型语言模型，本文提出了一种诊断方法来确定任务导向对话系统中每个组件的偏见，并通过实验结果表明这种偏见主要来自回应生成模型。
task-oriented dialogue systemspretrained large language modelsbiased behaviordiagnosis methodresponse generation model
发现论文，激发创造
  • 使用大型语言模型进行任务导向对话评估的用户模拟

    为了推动自动化任务导向对话系统的评估，本研究提出了一种基于预训练语言模型的新型用户模拟器，并通过上下文学习来生成具有鲁棒性和语言多样性的输出，以模拟人类对话行为。通过与现有对话系统交互，并收集人机交互数据集，验证了该用户模拟器在单一意图对话目标方面的表现与人类相似。

    Sep, 2023

  • 多语言任务导向对话系统中性能差异的系统研究

    多语言自然语言处理中任务导向对话系统性能差异的经验分析和洞察，以及新语言中 ToD 数据收集和系统开发的实用建议。

    Oct, 2023

  • LIDAO: 限制干预以解决（大规模）语言模型偏见问题

    大型语言模型中的公平性和流畅度之间的权衡问题研究，提出了一种基于信息论的框架 LIDAO，用于使语言模型更好地实现公平性而仍保持流畅度。

    Jun, 2024

  • 通过互动评估揭示任务导向对话中用户熟悉度偏见

    通过交互用户研究，比较了符合系统边界的具体目标说明和不支持但更真实的目标说明两种用户情境下，任务导向型对话系统的漏洞和错误，发现了一种新的机器行为 —— 伪装，在强调透明度和回退策略的同时呼吁建立稳健的任务导向型对话系统。

    May, 2023

  • 探索并缓解语言模型中的社会偏见

    为了提高语言模型的公正性，本文提出了多项定义并给出了新的测试和度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。

    Jun, 2021

  • 通过多任务学习解开方言与社会偏见以提高公平性

    方言、自然语言处理方法、偏见语言、公平性和多任务学习的关键字；使用多任务学习可以提高公平性，并更可靠地检测偏见语言的特性。

    Jun, 2024

  • 级联对话状态跟踪模型在口语对话中是否会不适当地发言？

    在复杂环境下，基于多轮对话语境的对话系统中，分析当前最先进系统的错误行为对于解决非分类槽值错误问题、改善语音到文本转录并帮助对话状态跟踪生成模型是至关重要的。

    Nov, 2023

  • 大型语言模型公平性调研

    大语言模型带来了强大的性能和发展前景，并广泛应用于现实世界。然而，这些模型可能从未经处理的训练数据中捕捉到社会偏见，并将其传播到下游任务。本文全面回顾了关于大语言模型中的公平性的相关研究，介绍了中等规模的模型和大规模的模型分别从内在偏见和外在偏见的角度引入了评估指标和去偏方法，并讨论了公平性发展中的挑战和未来方向。

    Aug, 2023

  • 大型语言模型中的偏见和公平性研究综述

    大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

    Sep, 2023

  • 通过前瞻目标增强大型语言模型引发的面向任务的对话系统

    ProToD 是一种预测未来对话动作并结合目标导向奖励信号来增强对话系统的方法，通过基于目标导向的对话模拟评估方法，可以在仅使用 10% 的数据的情况下实现比以前的全监督模型更好的性能，同时提高用户满意度和效率。

    Sep, 2023