本研究提出了一种使用任务特定的上下文归因来维持模型的泛化能力并提高下游任务性能的框架。在实验证实中,该模型在三个数据集上展示了卓越的准确性和泛化性能。
Jan, 2024
本研究提出了两种基于 LSTM 的目标相关情感分类模型,通过将目标词与上下文词的语义相关性进行建模,相比传统的 LSTM 模型,这种模型可以显著提高分类准确度,并取得了最新的最优性能。
Dec, 2015
通过使用源上下文信息优化的翻译模型以提高机器翻译性能,我们提出了一种使用目标上下文信息的新颖扩展,令人惊讶的是,我们证明可以将该模型直接高效地集成在解码过程中,我们的方法可以应用于大规模训练数据,对四种语言对的语言翻译质量有一致提高,我们提供了分析,比较基线基于源上下文模型的优势,以及我们扩展的源上下文和目标上下文模型,结果显示,我们的扩展可以更好地捕捉形态学一致性。
Jul, 2016
文中介绍了一种名为 CoAT 的优化方法,利用模拟训练数据来帮助语言模型更好的利用其背景知识。使用 CoAT 训练的 In-context learners 性能表现良好,达到了在多任务训练中更大规模模型的性能水平。
May, 2023
通过使用语言模型并针对短文本会话任务进行培训策略的量身定制,提出了一个与短文本会话任务更加适配的关联提升变压器语言模型,并在多个参考文献中推断其相关性线索来进一步优化其查询表示,这在大中文数据集上证明了优越性。采用随机策略来减少生成通用响应。
Nov, 2019
提出了一种基于上下文文本风格转换的新任务和模型,旨在实现高质量的自然上下文保留的风格转换,并通过引入半监督学习等机制,提出了一种用于训练稳健模型的方法,同时介绍了两个新的基准数据,实验结果表明,该模型在准确性、内容保全和上下文一致性等指标上显著优于其他方法。
Apr, 2020
本文提出了一种新的方法,Chain-of-Thoughts Attribute Manipulation (CoTAM),该方法通过来自大型语言模型的精心设计的数据来引导少量样本学习,并通过基于面部属性操纵的方法生成标签交换数据来控制文本的属性变化,经过实验结果检验本方法优于其他以 LLMs 为基础的文本生成方法。
Jul, 2023
该研究通过拼接语境的方法,研究了在标准文档级神经机器翻译中,是否应进一步提升目标语言的上下文对翻译结果的影响,实验结果表明,在目标语言现象上,将目标语言上下文加入到源语言端能够有显著的提升,而在依赖于源语言的现象方面,将源语言和目标语言的上下文同时加入源语言端能够在所有指标上都有显著的提升。
Feb, 2024
利用各种提示设计,在新闻标题的有针对性情感分析中,调节 LLM 模型的性能。
Mar, 2024
提出一种简单而灵活的方法,通过对齐分离的属性表示,控制文本生成,用于控制情感极性或特定主题的目标属性。与之前的方法不同,我们使用相同的数据学习对齐函数,而不是通过训练鉴别器来扰动属性的令牌级分布。我们在情感极性和主题控制生成上评估了我们的方法,并表现出大幅度的性能提升,同时保持流畅性和多样性。
Mar, 2021