lms | BriefGPT - AI 论文速递

关键词lms

搜索结果 - 21

评估开放式语言模型在任务类型、应用领域和推理类型方面的性能：一项深入实验分析
使用十个较小、开放式的语言模型在任务类型、应用领域和推理类型等三个方面进行了深入的实验分析，比较评估了语言模型和提示样式，并且展示了这些模型在特定需求下的有效性，以及与 SOTA 语言模型的竞争能力。
PDF17 days ago
RAGGED: 面向具备信息的检索增强生成系统的设计
检索增强生成（RAG）通过为文档问答等任务提供额外的上下文大大提升了语言模型（LMs）的能力。在研究框架 RAGGED 下，我们研究了代表性的文档问答任务，观察了两种经典的稀疏和密集检索器以及四种在编码器 - 解码器和仅解码器架构中表现优异
PDF4 months ago
COLING语言模型是否关心文本质量？评估跨越 11 种语言的网络爬取语料库
经过评估，我们发现大规模网络爬取的语料库对训练语言模型的质量并不起重要作用。
PDF4 months ago
从指令到约束：与自动约束验证的语言模型对齐
使用者对齐是将通用语言模型（LMs）调整为下游任务所必不可少的，但人工注释往往无法涵盖所有类型的指令，尤其是具有定制约束的指令。本研究提出了一种统一框架 ACT（Aligning to ConsTraints），通过约束验证器自动产生用户对
PDF4 months ago
通过下一个词预测学习语义能力的可行性研究 —— 以蕴涵为例
理论上，LMs 通过其训练数据中的共现模式推导文本的语义信息；本研究调查其理论是否可用于从神经 LMs 中解码蕴含关系，结果显示与他们类似的测试可以在多个数据集和 LMs 上解码语义蕴含关系，这表明 LMs 隐含地建模了语义方面以预测句子共
PDF4 months ago
EMNLPRoAST：通过选择性训练对语言模型进行对抗性扰动的鲁棒性增强
RoAST 是一种简单而有效的微调技术，通过在微调期间引入对抗性扰动，并且在相对重要性上选择性地更新模型参数，以提升语言模型的多角度鲁棒性。通过统一评估微调的语言模型在四个代表性的鲁棒性角度下，我们证明了 RoAST 相对于最先进的微调方法
PDF7 months ago
TPPoet：使用最小数据和高级解码技术的基于 Transformer 的波斯诗歌生成
通过在专业数据集上使用变压器架构训练一个波斯古典诗生成模型，并提出一种新的解码方法来增强生成的诗歌的连贯性和意义，有效地平衡多样性和质量，并通过全面的自动和人工评估证明了该方法相对于其他解码方法和现有的波斯大型语言模型具有更为卓越的生成连贯
PDF7 months ago
ACID: 基于内容的抽象式文档检索标识符与语言模型
通过生成式检索方法和使用大型语言模型生成抽象关键短语来构成文件的 ID，与现有的文档 ID 生成方法相比，我们的 ACID 方法在 MSMARCO 100k 检索任务和自然问题 100k 检索任务上分别使得前 10 和前 20 的准确率相对
PDF8 months ago
多重奖励提炼的个性化自盈利者设计
该论文介绍了一种名为 MaRio 的算法，该算法可以使规模较小的语言模型（约为 GPT-3 的 1/200）生成合理、多样且一致的自我理解解释，从而提高问题回答的准确性和自我理解质量，并通过人工评估验证了 MaRio 方案的可行性。
PDF8 months ago
LatEval: 一个包含来自横向思维谜题的不完整信息的交互式 LLMs 评估基准
通过最新的评估基准 LatEval，该研究探讨了语言模型在问答提问质量和信息整合方面的潜力，发现大部分模型在运用侧向思考时存在困难，提出了具有挑战性的任务，对于开发高效 AI 助手非常关键。
PDF10 months ago
使用 Monitors 引导编码的语言模型全局上下文
本文提出一种使用静态分析的策略，称作监视器，以指导解码器生成包含正确类型的标识符代码。通过将检索引入解码过程中提高模型的性能，实验结果表明，在指导下，一些较小的 LMs 的编译率和正确性要优于一些较大的 LMs。
PDFa year ago
语言模型幻觉如何滚雪球
语言模型中常见的错误是幻觉，LM 可能会输出错误的断言，但其能够单独识别为不正确。ChatGPT 和 GPT-4 找到的解释的 87％都是错误，这被称为幻觉滚雪球。
PDFa year ago
TinyStories: 语言模型有多小才能够流利地说英语？
本文介绍了 TinyStories 数据集和一种新的评估语言模型的方法，该数据集使用 GPT-3.5 和 GPT-4 生成，只包含 3 到 4 岁儿童通常理解的单词。使用 TinyStories 可以训练和评估比现有模型小得多的语言模型，并
PDFa year ago
通过重要性重采样进行语言模型数据选择
本文介绍了一种基于重要性重采样的数据选择算法，该算法可以在减少特征空间的基础上从大型无标签数据集中选择与目标分布匹配的样本子集。在训练通用领域（例如维基百科）和特定领域的语言模型时，该算法能够显着提高模型的性能。
PDFa year ago
EMNLP语言模型在方向推断方面表现不佳
探讨了利用提示进行监督微调测试 LM 在方向谓词蕴含方面的能力。提出了一个名为 BoOQA 的评估基准，旨在评估 LM 在方向谓词蕴含方面的表现，结果显示现有的 LM 模型无法胜任方向蕴含的学习任务，而基于蕴含图的模型表现较好。
PDF2 years ago
EMNLP从基础开始建立表示？语言模型中局部组合的实证研究
本文探讨了现代语言模型是否能够学会表示复合短语中的复合性和非复合性，通过预测长语的内部表示来证明了现代语言模型可以预测一个父短语的表示。同时，通过多种分析，揭示了不同类型的语言模型何时产生了复合表示，并探讨了未来建模工作的可能性。
PDF2 years ago
EMNLP大规模语言模型能带来哪些变革？对亿级韩语生成预训练变压器 HyperCLOVA 的深入研究
介绍 HyperCLOVA，这是一个针对韩国语料库进行训练的基于 GPT-3 的大规模语言模型，在上下文中的零样本与少样本学习性能上显示出最先进的表现，还介绍了基于提示的学习的性能优化和交互式学习界面，最后给出了三个成功的应用示例。
PDF3 years ago
EMNLP使用合成数据提升零样本多语言语义解析技术
提出一种名为 TaF 的方法，用于在可用目标语言监督的情况下产生多语言语义分析器的银色训练数据，该方法简化了翻译 - 对齐 - 投影（TAP）流水线，并通过 “填充” 模型进行训练，该模型只使用英语数据但可以以零样本方式准确完成其他语言（即
PDF3 years ago
神经生成的即时注意力调节
本研究通过分析语言模型在句子级别的注意力模式，发现神经退化可能与注意机制对任务特征的学习不足有关。因此，提出了一种称为‘实时注意力调节’的方法，该方法在推理过程中向注意力计算注入学习先验知识，有效地改善了语言模型生成的文本的流畅性、创造性和
PDF4 years ago
EMNLP序列标注的语言模型剪枝：高效的上下文表示
本研究提出了一种基于稀疏性诱导正则化的层选择方法，用于压缩大型预训练语言模型，以提高特定任务的计算效率，并在两个基准数据集上进行了实验验证其有效性。
PDF6 years ago