language model | BriefGPT - AI 论文速递

关键词language model

搜索结果 - 518

常见采购词汇分类的零样本层次分类
使用零样本研究方法，基于预训练的语言模型和标签分类法，对公共招标进行分类，并且在低频类别分类表现上优于三个不同的基线模型，并能够预测未见过的类别。
PDFa day ago
幼儿指导性言语的年龄相关分析与随机生成
通过使用在 CHILDES 数据库的北美英语语料库中训练的语言模型（LM）对 CDS 转录和接收儿童年龄进行建模，本研究描述了一种建模 CDS 年龄依赖性语言特征的方法，从而可以按年龄生成适合的合成 CDS 转录，捕捉到与 CDS 相关的年
PDF4 days ago
COLING优秀但不足的：大型语言模型中的国籍偏见 - ChatGPT 的案例研究
ChatGPT（GPT-3.5）是一个大型语言模型，该研究调查了 ChatGPT 中的国籍偏见，通过分析自动生成的论述，发现其生成的文本表现出真实世界中的国籍偏见，强调了对大型语言模型中潜在偏见的进一步审查的必要性。
PDF6 days ago
初心：1.6B 技术报告
我们提出了 ChuXin，这是一个完全开源的语言模型，具有 1.6 亿个参数。通过轻量级的持续预训练，我们将上下文长度扩展到 1M 个标记，并展示了强大的针对大数据检索性能。
PDF9 days ago
DeepSeek-V2: 一种强大、经济高效的专家混合语言模型
DeepSeek-V2 是一种经济高效的 Mixture-of-Experts（MoE）语言模型，具有 236B 总参数，支持 128K tokens 的上下文长度。通过创新的架构，如 Multi-head Latent Attention
PDF10 days ago
ICLR利用文本编码器对日常移动数据进行表示学习
研究了时序表示学习在远程医疗监测应用中的关键领域。基于老年痴呆症患者在家活动的数据集，设计了一种表示学习方法，将活动转化为可用语言模型编码的文本字符串。通过利用矢量空间中相似嵌入，实现了参与者和天数的聚类和向量搜索，并用于识别活动异常以帮助
PDF10 days ago
问我任何问题”：康卡斯特如何使用 LLMs 实时辅助代理人
利用大型语言模型作为服务界面的附加功能，Ask Me Anything (AMA) 允许客服代理人在处理客户对话时随时向模型提问，模型实时提供准确的回答，节省了代理人的时间和成本。内部实验结果显示，使用 AMA 功能的代理人与传统搜索经验相
PDF16 days ago
利用大型语言模型为编程中的逻辑错误生成反馈阶梯
基于大型语言模型的反馈生成方法在编程作业的逻辑错误中显示出巨大潜力。本研究通过使用多级反馈的方式来解决现有方法存在的问题，并通过用户研究评估了所生成反馈的质量。
PDF16 days ago
马尔科夫代理的忠实语言建模
链状思维推理可深度理解语言模型内部推理。我们提出了一种训练方法，能够生成独立于其他上下文的足够预测未来文本的链状思维，在确保语言模型能够预测未来标记的同时，证明其使用了链状思维来理解上下文。我们通过策略梯度和 PPO 优化得到 “马尔可夫”
PDF18 days ago
教学视频中的步骤差异
通过利用现有步骤注释和配套叙述，我们提出了一种方法，首先自动生成大量涉及来自 HowTo100M 的视频对的视觉指导调优数据，然后训练一个视频修饰的语言模型以联合推理多个原始视频，以识别视频对之间的差异并根据这些差异的严重程度对视频进行排名
PDF23 days ago
Nyonic 技术报告
最新的自定义大语言模型的开发和关键成就，包括支持灵活调整训练数据和课程学习的新式在线数据调度器，采用最新的技术，如旋转位置嵌入、QK-LayerNorm 和特制的多语言分词器来增强稳定性和性能。此外，我们的强大训练框架还结合了先进的监控和快
PDF23 days ago
从 LLM 到 NMT：借助 Claude 推动低资源机器翻译的发展
Anthropic 在 2024 年 3 月发布的大型语言模型 Claude 3 Opus 在机器翻译方面表现出比其他语言模型更强的能力。虽然我们发现 Claude 在 FLORES-200 上存在数据污染的证据，但我们整理了新的基准数据，
PDF25 days ago
PARAMANU-GANITA: 具备数学能力的语言模型
Paramanu-Ganita 是一种基于 208 百万参数的全新 Auto Regressive (AR) 解码器的数学语言模型，该模型在数学语料库上进行了从头预训练，在困惑度度量和 GSM8k 数学基准测试中表现出色，优于多个专业和通用
PDF25 days ago
Phi-3 技術報告：在您的手機上本地運行的功能強大的語言模型
介绍了 phi-3-mini 语言模型，它是一个 38 亿参数的模型，使用 33 万亿标记进行训练，通过学术基准和内部测试的综合表现与 Mixtral 8x7B 和 GPT-3.5 等大型模型相媲美，尽管这个模型足够小而可以在手机上运行。这
PDF25 days ago
自我监督的互信息对齐：学习遵循原则而无需偏好标签
使用 SAMI 方法，将预训练的语言模型教导遵循行为原则，无需任何偏好标签或示范，结果显示模型在单轮对话和摘要任务上优于初始预训练模型和指导微调模型，且能够在不使用偏好标签、示范或人工监督的情况下学会遵循定义。
PDF25 days ago
COLING预测论证省略判断：以日语为例的案例研究
研究通过对包括日语在内的典型丢格语言的大规模人工标注数据的分析，发现了本地说话者在省略论元时的共同标准和定量特征，并检验了基于语言模型的论元省略判断模型的性能差距。希望本研究能够促进对自然人类省略判断的进一步研究。
PDFa month ago
JaFIn: 日本金融指导数据集
我们通过构建一个适用于大型语言模型（LLM）的指令数据集，展示了指令调整通过域适应的有效性，利用多个数据源手动构建了一个名为 JaFIn 的日文金融指令数据集，并应用于几个 LLM，证明我们的金融专业模型在领域适应性方面比原始模型更好，通过
PDFa month ago
具有 LLM 摘要的拍卖
研究了一个拍卖设置，在该设置中投标人为了使他们的内容在大型语言模型 (LLM) 生成的概要中得到展示，例如广告拍卖，其中显示的是多个广告的概要段落。研究提出了一个新的分解框架，在该框架中，通过预测模型，一个拍卖模块和一个 LLM 模块共同工
PDFa month ago
递归 Gemma：超越变压器实现高效的开放式语言模型
我们介绍了一个开放的语言模型，使用了谷歌的全新的 Griffin 架构。Griffin 结合了线性递归和局部注意力，在语言方面有出色的表现。它具有固定大小的状态，可减少内存使用并在长序列上实现高效的推理。我们提供了一个已经预训练的模型，其中
PDFa month ago
ACL借鉴失败：使用试错数据对直觉命题逻辑证明进行微调的 LLM
通过从失败的搜索路径中学习，我们展示了训练模型的益处。我们与仅使用正确路径训练的模型进行比较，并发现前者以更少的搜索次数解决了更多未见过的定理。
PDFa month ago