neural language models | BriefGPT

关键词neural language models

搜索结果 - 213

面向长文档分类的长度感知多核心变换器
长篇文档分类方面的研究中，我们提出了一种适应长文档的多核变换器（LAMKIT），通过使用多样化的基于变换器的核心来编码长篇文档，以解决上下文边界和文档长度差异性带来的问题，并通过这些核心向量化文本长度以提高模型的稳健性。在健康和法律领域的五
PDF6 days ago
脑语言表征导航：神经语言模型与心理合理模型的比较分析
比较神经语言模型和心理可信模型，发现心理可信模型在多种多样的背景下（包括多模态数据集、不同语言等）表现更优，尤其是在融合具象信息的心理可信模型中，对单词和段落层面的大脑活动预测表现最佳。
PDF17 days ago
PORTULAN ExtraGLUE 数据集和模型：启动葡萄牙语神经处理基准测试
借助对葡萄牙语神经模型的研究，我们提供了一套用于多种语言处理任务的数据集合，以及针对这些下游任务进行细调的神经语言模型集合。通过使用最先进的翻译引擎将数据集从英语机器翻译成葡萄牙语，以与文献中的主流基准相结合，启动了葡萄牙语的对应数据集。由
PDFa month ago
语音语言模型的规模特性
本文使用语言模型的扩展性行为来估计目前方法在训练中使用的计算规模下，会产生具有类似基于文本的大型语言模型的英语熟练度的语音语言模型。我们展示了语言模型和大型语言模型的预训练损失与下游句法和语义性能之间存在强相关性，从而导致语言性能的可预测扩
PDF2 months ago
COLING解码探究：利用最小对比揭示神经语言模型中的内部语言结构
受认知神经学研究的启发，我们介绍了一种新颖的 “解码探测” 方法，利用最小对比基准（BLiMP）逐层探测神经语言模型中的内在语言特征。通过将语言模型视为 “大脑”，其表示为 “神经激活”，我们从中间层的表示中解码最小对比的语法标签。该方法揭
PDF2 months ago
神经网络时代中的 $n$-gram 平滑作用
该论文重新探讨了在神经语言模型时代中经典的 $n$-gram 平滑技术可能发挥的作用，通过正则化技术将任何 $n$-gram 平滑技术转化为与神经语言模型兼容的约束，实证结果表明我们的新颖正则化技术在语言建模和机器翻译中与标签平滑技术相比具
PDF2 months ago
通过重述前缀提示编辑语言模型的知识表示
我们介绍了一种名为 PSPEM 的新方法，它可以解决知识编辑方法的低效性和通用性问题，通过自动寻找最佳软提示来克服提示工程的不透明性，从而在效率和准确性之间保持最佳平衡。我们通过知识编辑和属性插入验证了 PSPEM 的有效性，在 COUNT
PDF2 months ago
COLING性别如何与政治价值互动：以捷克 BERT 模型为案例研究
通过对捷克政治性偏见进行案例研究，本论文介绍了一种新的方法来衡量神经语言模型的政治价值观，发现 BERT 大小的模型与政治价值观没有系统的一致性，模型中观察到的偏见更多是对训练数据模式的表面模仿，而非系统的价值信仰。
PDF2 months ago
TMU 在 TREC 临床试验赛道 2023 年
多伦多大都市大学参与 TREC 临床试验领域 2023 年的研究，在实验中利用先进的自然语言处理技术和神经语言模型，检索相关性最高的临床试验，并展示了整体的方法论、实验设置和结果。
PDF2 months ago
通过伪标记成员的微调增强训练数据曝光
通过对神经语言模型进行对抗性微调，以增强其对预训练数据的保留，本文介绍了一种新的攻击场景。通过使用伪标签进行生成文本的成员近似，我们证明了使用更高的成员概率进行微调能够使模型暴露训练数据增加四到八倍。
PDF3 months ago
提升基于内容的虚假信息检测的关键符号特征捕捉
通过分析虚假信息的语言属性及相关数据集，本论文展示了在检测虚假内容方面，采用相关符号知识和神经语言模型的适当使用可以取得最先进的性能，在准确性、时间效率和资源利用方面提供了有效且稳健的替代方法。
PDF4 months ago
基于大规模互补神经语言模型的格栅重新评分
我们研究了使用大规模先进神经语言模型（NLMs）对自动语音识别（ASR）假设进行格栅再评分的效果。通过将最多 8 个 NLMs 进行组合，通过迭代式格栅生成，逐步改进给定格栅弧上的语言评分，我们逐渐降低 ASR 假设的错误。此外，我们还研究
PDF5 months ago
蛋白质语言模型中的知识神经元识别
神经语言模型在自然语言处理任务中学习复杂实体表示成为强大工具，然而在计算生物学等领域中，其可解释性仍然是一个重要挑战。本研究旨在通过识别和表征知识神经元增强蛋白质语言模型（特别是 ESM 模型）的可解释性，通过将 ESM 模型针对酶序列分类
PDF5 months ago
德语文本简化的数据和方法 —— 提升辅助可访问性的沟通
德文文本简化的当前状况，重点研究平行和单语德语语料库。评估神经语言模型在简化德语文本方面的适用性，特别是在法律文本和无障碍要求方面。研究结果强调了需要更多的训练数据和更恰当的方法，考虑到德语的特定语言特征，以及针对认知或语言障碍目标群体的需
PDF5 months ago
重访主题指导语言模型
一项最近的自然语言处理研究旨在结合语言模型和主题模型，这些主题引导的语言模型通过将主题模型与神经语言模型相结合，采用无监督学习方法来发现文档级别的词汇使用模式。本文比较了这些方法在标准化环境中的效果，并发现这些方法中没有任何一种超越了标准
PDF5 months ago
将神经语言模型在发展合理数据的课程中进行训练，是否可以提高与人类阅读行为的一致性？
使用神经语言模型对人类行为进行建模在研究中获得了不同的结果。本文通过在 BabyLM 挑战中使用更贴近发展的数据集来探索实证数据和模型预测行为之间的不匹配程度。通过对 BabyLM 的数据集进行师生训练和课程设计，研究发现，虽然这种改进使得
PDF6 months ago
基于语言模型的对话系统演化调查
通过将 LM 的突破划分为四个不同阶段，本文调查对话系统的历史轨迹，阐明其与语言模型的复杂关系，提供了与 LM 突破对齐的时间视角，对最新的研究成果进行全面回顾，并讨论了新兴课题和开放挑战，提供了 LLM-based 对话系统未来发展的有价
PDF6 months ago
EMNLP认知失调：为何语言模型输出与内部真实性表征不一致？
神经语言模型可用于评估事实陈述的真实性，工作发现查询与探测过程有时存在不一致性，故探测更为准确，且存在三种不一致类别：编造、欺骗和异质性。
PDF6 months ago
EMNLP评估神经语言模型作为语言习得的认知模型
神经语言模型（LM）在许多技术任务上的成功使其潜在相关性作为语言科学理论得以体现，尽管 LM 训练和儿童语言习得之间存在一些明显的差异。本文认为一些用于评估 LM 语法能力的主要基准可能不够严格，并表明基于模板的基准缺乏语言理论和心理学研究
PDF7 months ago
EMNLP利用人工法语数据理解转换器语言模型中性别偏见的出现
神经语言模型在没有直接监督的情况下学习各种语言属性的能力已被多个研究证明。本研究初步探索神经模型如何发现词语的语言属性（如性别）及其使用规则这一较少研究的主题。我们建议使用基于法语的 PCFG 生成的人工语料库来精确控制训练数据中的性别分布
PDF7 months ago