本文提出 EditEval：一种以指令为基础的评测套件，利用高质量的现有和新数据集自动评估编辑能力，证明了 InstructGPT 和 PEER 的表现最佳，而大多数基线都低于监督学习 SOTA，本文通过这个基准的发布和公开可用的排行榜挑战，希望能够解锁未来发展能够进行迭代和更可控编辑的模型的研究。

Sep, 2022

本研究基于指令调整的 LLMs 语言模型，开发了一种名为 CoEdIT 的文本编辑模型，提供高质量和高效率的写作辅助。经过定量和量化分析，我们证明作家们更喜欢 CoEdIT 建议的编辑方式，相对于其他最先进的文本编辑模型。

May, 2023

通过训练语言模型自动设计任务而收集高质量的教学适应数据的可扩展方法，自动生成任务指导、输入和输出，用于过滤噪音，并通过自动和手工评估实验来证明数据集的质量。

Sep, 2023

该研究介绍了 INSTRUCTSCORE，一种可解释的用于评估文本生成的评估度量标准，通过利用显式人类指令和 GPT4 的隐式知识来创建评估度量标准。研究结果表明，INSTRUCTSCORE 可以在不需要人类数据之间达到类似于 COMET22 等最先进度量标准的性能水平。

May, 2023

该论文提出了基于指令调整的统一信息提取框架 InstructUIE，它可以统一地建模各种信息提取任务并捕获任务间的依赖关系。在零样本设置下，该方法显著优于现有的大型语言模型和 gpt3.5。

Apr, 2023

本文提出了文本扩展（TE）的新任务，旨在插入细粒度修改器到纯文本的适当位置以具象化或使人类写作更生动。通过四种互补方法，我们构建了一份包含 1200 万个自动生成实例和 2000 个人工注释的英文和中文数据集。为了便于自动评估，我们从多个角度设计了各种度量指标，特别是提出了 Info-Gain 来有效度量扩展的信息量，它是 TE 任务中一个重要的质量维度。在基于预训练的文本填充模型的基础上，我们构建了基于流水线和联合定位和填充模型，证明了其在扩展信息量上优于 Text2Text 基线方法。实验证实了 TE 任务的可行性，并指出了未来研究朝着更好的自动文本扩展方向的潜在研究方向。

Sep, 2023

使用细粒度的可行操作反馈，基于学习的错误定位模型预测的错误类型、错误位置和严重程度，提出了 FITO（一种推理时间优化方法）来进行迭代改进，通过一个生成改进输出的改进模型，迭代地结合反馈。我们在三个文本生成任务上进行了实验，包括机器翻译、长篇问答（QA）和主题摘要，在单次迭代的改进中，中英翻译和英德翻译分别观察到 0.8 和 0.7 的 MetricX 增益，问答和主题摘要分别观察到 4.5 和 1.8 的 ROUGE-L 增益。通过我们的模拟退火算法，我们看到进一步的质量改进，包括与基准方法相比高达 1.7 的 MetricX 改进。

Nov, 2023

本研究通过提出一种交互式文本生成设置，在其中用户通过向系统发出编辑现有文本的命令与系统进行交互，来解决神经文本生成中一次生成的局限性，并介绍了一种新的文本编辑任务。通过使用 Wikipedia 中的单句编辑构成了一个名为 WikiDocEdits 的数据集，使用基于 transformer 的模型在其中进行训练以提高其自动产生的成果和用户评估结果。在此基础上，本研究分别从经验和定性分析方面展示了该模型的性能表现。

Oct, 2020

本文提出了 Unlabeled Data Augmented Instruction Tuning (UDIT) 算法，通过使用未标注的文本数据构建伪标注数据，以更好地利用指令来提高指令微调的性能，实验结果表明 UDIT 在不同场景下都具有较好的效果。

Oct, 2022

基于 SQATIN 框架，该篇论文通过指令调整和基于问答的 ID 和 VE 任务的公式化，提出了一种新的对话 NLU 框架，从而在对话 NLU 领域取得了最新的技术成果，无论是在域内训练还是跨领域转移中都在现有模型基于标准微调目标的性能上大幅度超越。

Nov, 2023