零样本立场检测:利用上下文数据生成与 LLMs
本文研究如何利用直觉表示捕捉话题之间的隐式关系,提出了一种适用于零样本学习的立场检测模型,并提出了一个新的数据集用于测试。结果表明,这个模型在许多有挑战性的语言现象上表现得更好。
Oct, 2020
通过增加使用合成数据生成技术来提高零 - shot 对话状态追踪(DST)准确性的多样性的训练数据,本研究证明了可实现的巨大收益。该研究通过使用一种新颖的全自动数据生成方法来创建合成的零 - shot DST 训练资源,克服了当前 DST 训练资源在应用领域和槽类型方面的严重限制,该方法生成全新的应用领域以及具备银标注和槽描述的对话。该方法用于创建 D0T 数据集以训练零 - shot DST 模型,该数据集涵盖了 1000 多个领域。在 MultiWOZ 基准测试中进行的实验表明,使用多样化合成数据训练模型可以改善 + 6.7% 的联合目标准确率,达到与更大模型相竞争的结果。
May, 2024
Gen-Z 是一种用于零食文本分类的生成提示框架,通过在标签的自然语言描述上依赖语言模型的可能性来改善任务性能,并在多个标准分类基准上展现了优越性能。
Nov, 2023
通过高质量、领域内示范的扰动,我们发现源端的扰动对翻译质量影响较小,而目标端的扰动可以极大地降低翻译质量,这表明输出文本分布在上下文学习翻译中提供了最重要的学习信号。我们提出了一个名为 Zero-Shot-Context 的方法,可以自动地在零样本提示中添加此信号,我们证明它提高了 GPT-3 的零样本翻译性能,甚至使其与少样本提示的翻译性能有竞争力。
Oct, 2023
通过大型语言模型驱动的 DoraemonGPT 系统,我们能够处理动态视频任务,利用空间 - 时间查询和推理工具进行简洁而相关的中间结果,同时通过蒙特卡洛树搜索驱动的规划器高效探索大规模计划空间,并以多种解决方案总结出改进的最终答案。在各种复杂问题的评估中,DoraemonGPT 展示了比以往研究更强大的能力。
Jan, 2024
通过我们的研究,我们发现了自然语言生成、零样本机器生成文本检测以及大型语言模型等关键词之间的显著相关性,同时我们还探讨了话题转变对零样本检测方法的影响,揭示了这些检测方法在各种不同话题下的适应性和鲁棒性。
Dec, 2023
通过加入额外的语境,并利用大型语言模型生成合成数据,我们旨在改进现有的辨别谬误的模型,从而提升对多类别谬误的识别效果,并进一步分析合成数据与现有谬误数据集之间的关联,以及为识别需要上下文支持的谬误类型提供补充语境的有用性。
Nov, 2023
本文旨在探究如何利用上下文学习的方法来提高实时自适应机器翻译的质量,并研究将强编码器 - 解码器模型和模糊匹配相结合以进一步提高翻译质量的方法。已在五个大不同的语言对上展开了实验。
Jan, 2023
本文研究了使用自然语言实现零样本模型对新任务的自适应性,通过社交评论平台的文本和元数据作为简单的预训练任务,并提供分类任务的自然语言描述作为输入训练语言模型,以生成正确答案的方式进行自然语言的模型推广,克服了多任务分类的缺点,在六个基准文本分类数据集上训练出具有零样本性能的生成性语言模型,结果显示语言可以作为任务自适应的简单而强大的描述符,这为文本问题的新元学习策略指明了方向。
Dec, 2019