关键词instruction-tuned models
搜索结果 - 7
- RakutenAI-7B：扩展日本语大型语言模型
我们介绍了 RakutenAI-7B，它是一套面向日本的大型语言模型，在开放的 7B 模型中，在日本语言模型测试基准中取得了最好的性能。除了基础模型，我们还发布了经过指令调整和聊天调整的模型 RakutenAI-7B-instruct 和 - 比较摘要模型需要多少注释？
在这项研究中，我们通过实证研究了在新闻摘要领域选择最佳性能的模型所需的测试样本大小，发现只需要少于 100 个样本即可收敛，并且人类偏好数据可以在各种下游摘要任务中量化自动评分的能力。
- 并行上下文编码的长文本语言建模
通过引入上下文扩展并行编码（CEPE）框架，可以将现有的仅解码的大型语言模型（LLMs）的上下文窗口扩展，使其能够更有效地处理长输入并且在检索增强应用中表现优异。
- 安全调校型 LLaMAs：提升遵循指令大型语言模型安全性的经验教训
训练大型语言模型遵循指示能够使其在各种任务上表现更好，但完全符合的模型会遵循即使是最恶意的指示并且容易生成有害内容。本文提出了对强调帮助而不是安全性的模型安全性的担忧。我们展示了一些流行的经过指示调优的模型高度不安全。此外，我们证明了在训练 - 通过口头化调整进行命令跟踪评估
我们提出了一种名为 verbalizer manipulation 的新型指令跟踪评估协议，该协议通过使用高度匹配到轻微匹配的语言转化器，结合任何分类基准来检查模型对先验知识的依赖程度以及其是否能准确遵循指令。我们对四个重要的模型系列进行了 - 指令作为后门：大型语言模型指令调整的后门漏洞
训练指导调谐模型的众包数据集存在安全隐患，攻击者可通过少量恶意指令注入后门来控制模型行为，导致持久性后门并在多个数据集中实现 90％的攻击成功率，同时需要更加强大的防御措施来应对数据污染攻击，并重视指导众包中数据的质量。
- ACL提示驱动模型真正理解其提示的含义吗？
本研究证实了即使是故意无关或甚至有误导性的提示，也可以让一些零样本或少样本学习模型像 “好” 的提示一样快地进行学习，这一模式适用于模型尺寸大小，这引出一个问题，问这种改进是不是源于模型像人类一样理解掌握任务提示。