众包改写收集中任务设计权衡的理解
本文针对自然语言和逻辑形式之间的映射、基于众包的数据收集方式存在的问题进行了深入分析，提出了一种结合模型和众包技术的数据收集方法，以减轻众包方法带来的偏差，实验结果表明，该方法对于自然语言和逻辑形式解析的准确度相对更高。
Aug, 2019
本文以多项选择问题回答为测试基础，运用随机实验、数据收集协议及专家评估对比效果，发现训练众包工作者并采用迭代数据收集、传递回馈、基于专家判断进行筛选更为有效，但将普通众包判断及回馈替换为专家判断及回馈则效果不佳，最终观察到具有专家评估的迭代协议数据等级高于基线协议数据，并且人 - 模型差距大约是基准协议数据的两倍。
Jun, 2021
本文研究了使用 ChatGPT 替代人工工人进行意图分类的复述生成任务，通过基于已有众包研究的数据收集方法，展示了 ChatGPT 创建的复述更为多样化且能够带来更加强健的模型。
May, 2023
本文通过实验展示了人群智力数据集在自然语言理解中的存在问题和缺陷，建议在数据集创建过程中监控注释者的偏见，测试集注释者应该与训练集注释者无交集。
Aug, 2019
通过众包的方法，我们提供了一种收集平行语料库的方法，尽管牺牲了质量，但它比雇佣专业翻译人员更具成本效益。此外，我们还提供了收集的车臣语 - 俄语和富拉语 - 英语语言对的实验性平行数据。
Jul, 2023
使用文本分析方法，基于餐饮行业中的 50K 句子，对对话系统中从意义表示到生成自然对话的进行了探究，使用不同的风格分区来训练和生成自然对话，并证明了标记风格变量的方法可以调整生成对话的风格。
Sep, 2018
提出了一种利用众包工作者从网络中有效地收集一个目标领域平行句子的框架，从而快速地将机器翻译模型适应于目标领域，实验证明这种方法可以在几天内以合理的成本收集到目标领域平行数据，并且与通用翻译模型相比，域适应模型的 BLEU 评分平均提高了 7.8 分、最高提高了 19.7 分。
Oct, 2022
通过文献综述和提出分类法，本研究对 25 个已知的改写（子）任务进行整理和组织。使用分类器识别给定改写实例适用的任务，发现已知改写语料库中特定任务实例的分布差异很大。这意味着在没有明确定义相应改写条件的情况下使用这些语料库会导致不可比较和误导性的结果。
Mar, 2024
该研究提出了一种基于改写生成的方法，可以减少创建新对话代理所需要的时间和成本，同时提高其性能，使其能够实际与真实用户进行交互。实验证明该方法提高了意图分类模型的泛化能力，有助于在组织范围内规模化部署这项技术。
Apr, 2022