EMNLPDec, 2022

TextBox 2.0: 具备预训练语言模型的文本生成库

PDF
TL;DR本研究提出了一个统一、全面的 TextBox 2.0 库，重点关注使用预训练语言模型 (PLMs) 的文本生成，在数据加载、训练和评估等各个方面都提供了便捷的接口，同时实现了 4 种高效的训练策略和 4 种生成目标。经过广泛实验验证，该库易于使用，是文本生成研究的有效工具之一。
text generationpre-trained language modelsresearch pipelinetraining strategiesdata loading
发现论文，激发创造
  • 大型语言模型中的包容性：科学摘要中的个性特征和性别偏见

    评估三种主要的大型语言模型（Claude 3 Opus、Mistral AI Large 和 Gemini 1.5 Flash）在科学摘要文本生成任务中的表现，发现尽管这些模型的生成文本通常与人类创作的内容非常相似，但在风格上存在显著的性别偏见，这研究强调了开发能够维持多样写作风格以促进学术交流包容性的重要性。

    Jun, 2024

  • 通过使用模拟数据来减少数据采集和标记以进行缺陷检测

    使用合成数据与未标注的真实数据进行训练可在较低成本下实现与标注真实数据相媲美甚至更好的缺陷检测结果。

    Jun, 2024

  • 捕捉变色龙：检测使用大型语言模型生成的不断演变的虚假信息

    探测不断演化的大型语言模型生成的虚假信息的研究问题，通过预训练语言模型的普遍事实核查能力和各种大型语言模型的独立虚假信息生成特征，提出一种参数高效的方法 DELD，通过序列连接模型的学习特征以促进知识积累和转换，并通过与可训练的软提示结合，解决标签稀缺的问题，实验证明该方法显著优于现有方法，对不同大型语言模型的虚假信息生成模式提供了重要洞察，为该领域研究提供了有价值的观点。

    Jun, 2024

  • 找出父级，然后标记子级：使用预训练语言模型的两阶段分类法完成方法

    本文提出了名为 ATTEMPT 的两阶段方法，通过找到父节点并标记子节点的方式，将新概念插入正确的位置。利用预训练的语言模型进行上下位关系识别，通过合并本地节点和提示生成自然语句。实验结果表明，ATTEMPT 在分类系统补全和扩展任务上表现最佳，超过了现有方法。

    Jun, 2024

  • 评估心理健康问答分类基础模型的有效性

    这项研究评估了基础模型在心理健康护理问题和回答分类中的效果，并发现预训练语言模型（PLMs）在捕捉语义意义方面具有非常好的结果，对于阿拉伯语的心理健康支持具有很大的潜力。

    Jun, 2024

  • TemPrompt: 基于 RAG 的众包系统中的多任务提示学习用于时间关系抽取

    基于预训练语言模型的多任务提示学习框架（TemPrompt）结合了提示调整和对比学习来解决事件的演变以及任务请求的问题，实验结果表明在标准和少样本情况下，TemPrompt 在多个指标下优于其他基准模型，并通过案例研究验证了在众包场景中的有效性。

    Jun, 2024

  • 基于灵活演示检索器的数学问题知识标记系统

    知识标记对于当代智能教育应用具有关键作用，本文探索采用大型语言模型（LLMs）自动化该任务，展示了 LLMs 在数学问题知识标记任务上零次和少次检测结果的强大性能，并通过提出基于强化学习的示范检索器，成功利用不同规模的 LLMs 实现更优异的性能结果同时保持上下文演示使用的高效性。

    Jun, 2024

  • 基于语言模型权重演化的知识融合

    本研究提出了一种名为 Evolver 的知识融合方法，它可以将不同语言模型的权重进行集成，通过进化算法生成新的模型并与父模型进行评估，达到在不同数据领域通用且性能优越的目的，这种方法与现有模型合并框架无缝集成，为模型增强提供了一种多功能工具。

    Jun, 2024

  • 用随机性对抗随机性：使用延迟集成和噪声插值减轻微调的优化不稳定性

    利用集成、噪音正则化和模型插值技术，我们提出了一种名为 DENI（Delayed Ensemble with Noisy Interpolation）的新型缓解策略，它既具备高效计算的特点，又能有效克服细调整中的不稳定性问题。通过在 3 种模型、4 种调优策略和 7 个文本分类数据集上对比 DENI 与其他 9 种缓解策略，我们证明了：1）DENI 优于表现最佳的缓解策略（Ensemble），且仅使用其计算成本的一小部分；2）缓解策略对于参数高效的细调整方法（PEFT）非常有效，在某些情况下超过了完整细调整方法的性能；3）将 DENI 与数据增强相结合通常会导致更有效的稳定性缓解。

    Jun, 2024

  • PromptDSI：基于提示的无需复习的逐实例增量学习用于文档检索

    PromptDSI 是一种无需重复训练的、基于提示的增量学习方法，使用冻结的 PLM 编码器，并利用其强大的表示能力来高效地索引新的文集，同时维持稳定性和适应性的平衡。该方法通过消除基于提示的持续学习方法的初始前向传播来减少训练和推理时间，并提出了一种基于主题的提示池策略，使用神经主题嵌入作为固定的键，以确保多样化和有效的提示使用，并解决查询键匹配机制崩溃引起的参数低效利用的挑战。我们的实证评估表明，PromptDSI 在管理遗忘方面与 IncDSI 相当，同时在新的文集上提高召回率超过 4%。

    Jun, 2024