Apr, 2023

LINGO: 视觉去偏见自然语言指令以支持任务多样性

PDF
TL;DRLINGO 是一种新颖的可视化分析界面，可帮助优化自然语言任务指令以减少偏差，并提高模型性能，且经实验验证其支持创建更高语言多样性和更低指令偏差的难度更大的任务；该工具可应用于多领域的指令撰写中。
cross-task generalizationpre-trained language modelsnatural language instructionsbias identificationlingo
发现论文，激发创造
  • 通过自然语言众包指导实现跨任务的推广

    通过理解人类可读的指令来学习新任务的挑战一直是人工智能领域的难题，本文基于自然指令数据集通过使用生成式预训练语言模型对任务特定指令进行编码和输出生成，研究横向任务泛化并发现模型在使用指令时对于未见过的任务泛化更好，但与认为上限还存在显著改进空间。

    Apr, 2021

  • 指导多样性推动对未知任务的泛化

    通过调整指令，大型语言模型（LLM）可以进行微调，实现真实世界任务执行和遵循人类指令；实现普遍使用的关键取决于模型学习更广泛的指令集而不仅仅是训练集上的指令。本文通过实验探究了指令多样性与模型普适性之间的权衡，发现多样性的指令集使模型具备普适性，并确保在训练集上非均匀分布指令的情况下保持鲁棒性。

    Feb, 2024

  • LIDAO: 限制干预以解决（大规模）语言模型偏见问题

    大型语言模型中的公平性和流畅度之间的权衡问题研究，提出了一种基于信息论的框架 LIDAO，用于使语言模型更好地实现公平性而仍保持流畅度。

    Jun, 2024

  • 从任务说明中学习的鲁棒性

    本研究探讨了新任务指令被恶意篡改、改写或来自不同书面表达程度时，基于预训练语言模型的监督系统的稳健性。

    Dec, 2022

  • 自然语言理解中的去偏方法使得偏见更容易被接受

    通过提出一种基于探究的框架，研究了自然语言理解中的偏见修正方法。结果表明，推迟偏见的方法会导致更多的偏见被编码到模型的内部表示中。

    Sep, 2021

  • 超自然说明：通过对超过 1600 个自然语言处理任务提出声明性说明来实现泛化

    本文首先引入了 Super-NaturalInstructions, 一个包含 1616 个不同类型的 NLP 任务及其指令的跨任务基准，通过构建 Tk-Instruct 模型，能够在超过九个百分点的水平上优于目前现存的模型，并对不同的模型参数进行了进一步的分析以期实现更通用的 NLP 模型。

    Apr, 2022

  • 基于提示的多任务学习中社交偏见的测量

    本论文探讨了在多任务文本生成模型中，使用问题 - 答案格式输入与前提 - 假设格式输入是否会影响模型的社会偏见，并使用两个基准测试评估了 T0 模型在其中的表现，结果表明前者会使得模型表现出更多的社会偏见。

    May, 2022

  • 通过多任务学习解开方言与社会偏见以提高公平性

    方言、自然语言处理方法、偏见语言、公平性和多任务学习的关键字；使用多任务学习可以提高公平性，并更可靠地检测偏见语言的特性。

    Jun, 2024

  • 作为对齐实验室的通用语言助手

    本研究旨在构建一个与人类价值观相一致的通用文本助手，通过简单的基线技术和评估，我们发现适度干预的效益随着模型大小的增加而增长，并且不会影响大模型的性能；二分类和模仿学习亦具善意，但此外，排序偏好建模方法在对齐训练任务中表现更佳且尺度更合适；最终我们研究通过 “偏好模型预训练” 阶段达到在人类喜好上微调时的样本效率提升。

    Dec, 2021

  • InterFair: 具有自然语言反馈的去偏见公平可解释预测

    该研究论文提出，自然语言处理模型中的去偏置方法应当使用敏感信息来实现公平去偏置，而不是盲目地消除它，为了实现公平平衡，研究人员建议采用能够与用户互动并提供反馈的交互式方法，从而在任务表现和偏置缓解之间实现更好和公正的平衡，并支持详尽的解释。

    Oct, 2022