本文提出了一种基于常识增强的基于任务的对话任务，并描述了 Task2Dial 数据集，这是一个基于文档的任务对话的新数据集，在此设置中，IF 可以提出澄清问题，这些问题可能不基于基础文档，需要常识知识来回答。

Apr, 2022

本文以多项选择问题回答为测试基础，运用随机实验、数据收集协议及专家评估对比效果，发现训练众包工作者并采用迭代数据收集、传递回馈、基于专家判断进行筛选更为有效，但将普通众包判断及回馈替换为专家判断及回馈则效果不佳，最终观察到具有专家评估的迭代协议数据等级高于基线协议数据，并且人 - 模型差距大约是基准协议数据的两倍。

Jun, 2021

本文提出了第一个基于中国社会文化的社交感知对话语料库 - SocialDial，使用 ChatGPT 生成了 4,870 段数据，并评估了使用 BERT 和 RoBERTa 等预训练模型的数据集。

Apr, 2023

本文介绍了 CrowdTruth metrics，这是一种捕捉人群外包中标注者不一致性并对其进行解释的方法。该方法通过度量 worker，输入数据和注释三个主要组成部分之间的相互依赖关系来捕捉这种不确定度。

Aug, 2018

该研究介绍了一种基于众包的数据分析系统，其中包含了质量敏感型质量控制模型，并利用 Twitter 和 Flickr 数据展示了该系统在推特情感分析和图像标注等任务上的较高精度。

Jun, 2012

本文介绍了一种用于收集大型语言模型生成对话的框架，用来收集 MathDial 数据集，这个数据集由约 1.5k 个多步骤数学词问题的辅导对话组成，并展示了该数据集具有丰富的教学特性，可以用于调整语言模型以成为更有效的辅导员，并强调了需要解决研究共同体的挑战。

May, 2023

该研究介绍了一个新的数据集 Taskmaster-1，其中包括 13,215 个基于任务的对话，包括六个领域。数据集包含了更多现实和多样化的对话，使用了两种不同的方法进行数据收集并提供了多个基准模型，其中 API 调用和参数被标记为基于任务的对话系统的研究、开发和设计提供了新的前景。

Sep, 2019

doc2dial 是一种以文档为基础的目标导向的对话数据集，包含来自四个领域超过 480 个文档的约 4800 个带注释的对话，通过引入多重对话建模任务和基线方法来评估数据集的多功能性。

Nov, 2020

本文介绍了一种简单而有效的数据中心方法，用于改善个性化对话代理。通过利用针对两个任务的原始 - 对偶结构（预测对话响应和个人资料之间的联系），我们增强了相关人物角色，以改进对话数据集 / 代理，并修复了基准数据集的注释问题，其巨大地增加了模型的精度，体现在 Persona-Chat 上的实验中，我们的方法在准确性上比预训练 LM 高出 11.7 个百分点。

Feb, 2022

本研究提出了一种在低资源领域（如医疗保健）采用预处理、实时控制和数据收集后的质量控制措施来改善数据质量的众包框架，通过评估 Bio-BERT 对预测自闭症相关症状的影响，结果显示实时质量控制相较于预处理可提高数据质量 19％，尽管在精度方面有所降低，但使用众包数据进行 Bio-BERT 的微调通常会提高召回率。本研究揭示了众包和质量控制在资源有限环境中优化医疗保健大型语言模型以进行明智决策和改善患者护理的潜力。

May, 2024