- 复杂查询回答的条件逻辑消息传递变形器
该论文提出了一种名为 “条件逻辑消息传递转换器” 的新型神经网络模型,通过使用预训练的神经链接预测器来在常量和变量之间进行条件性的消息传递,并通过自注意机制显式建模各个元素之间的逻辑依赖关系,从而降低计算成本并实现了新的领先的神经网络复杂查 - ACLCMA-R:用于解释谣言检测的因果中介分析
应用因果中介分析研究了基于神经模型的推特谣言检测决策过程,通过在输入和网络层面进行干预,揭示了推文和模型输出中词汇的因果影响。发现我们的方法 CMA-R 能够识别解释模型预测的显著推文,并与人类判断具有很强的一致性,这些关键推文能够决定故事 - 指代表达生成的内在任务评估
提出了一种基于内在任务的评估协议,针对对话生成模型中的表述生成模型进行了综合性评估,发现新的评估协议能更准确和可靠地评估每个模型的性能。
- 选择性遗忘:推进机器遗忘技术和语言模型评估
该研究旨在调查机器遗忘(MU),这是一个新兴领域,专注于解决神经模型意外保留个人或敏感数据的问题。本文介绍了一种新的方法,以实现语言模型内的精确选择性遗忘,并提出了两个创新的评估指标:敏感信息提取可能性(S-EL)和敏感信息记忆准确性(S- - 组分布稳健数据集蒸馏及风险最小化
通过结合聚类和风险度量的最小化算法,实现数据集精炼,具备对子群体的有效泛化和稳健性,为解决合成数据集在面对低人口密度地区样本时表现优秀的问题提供了理论依据和数值实验验证。
- AAAI基于知识的场景分类神经元解释
通过引入外部知识和核心概念,我们提出了一种新颖的知识感知神经元解释框架,用于解释图像场景分类模型的预测结果。我们的方法相比基线模型在解释性能上提供了更好的预测解释,并且核心概念能够有效地改善原始模型的性能。
- ICLR论多模态推理中神经网络的泛化能力
评估了多模态泛化的综合性能,发现多层注意力和跨模态注意力是整合多模态输入所需的关键架构特征,但对于有限类型的多模态泛化存在基本限制,强调了现代神经模型在多模态推理方面的优势和局限性。
- 基于检索增强生成的问答型电子健康记录摘要
电子健康记录的总结可以极大地减少患者和医务人员的 “屏幕时间”。近年来,通过使用最先进的神经模型,电子健康记录的总结已经采用了机器学习流程。然而,这些模型产生了不够令人满意的结果,这要归因于很难获取足够的注释数据进行训练。此外,考虑到电子健 - 代码智能的深度学习:调查、基准和工具包
本文综述了深度学习在编码智能方面的应用,包括代码表示学习、深度学习技术和应用任务,并提供了一个适用于基于深度学习的编码智能模型快速原型设计的开源工具包。同时,公开发布了源代码和数据资源,以促进现有和未来编码智能模型的评估和比较,并指出了几个 - 面向效率的自监督语音表示学习方法
自我监督学习在计算机视觉、自然语言处理、生物学和语音等多个领域取得突破,然而现有方法的计算成本较高,限制了模型的部署、训练数据集的规模以及拥有大型自我监督模型的研究机构的数量。因此,需要进一步研究以解决自我监督表示学习中高计算成本的问题。
- 视觉引导语言学习:语言游戏,数据集,任务和模型综述
对于基于语言模型目标在大规模纯文本数据上进行训练的几种机器学习模型,在许多自然语言理解和生成任务上取得了令人印象深刻的结果。然而,对于语义的许多方面,仅仅通过 “倾听收音机” 是无法学习到的。本文系统地回顾了视觉 + 语言领域中提出的多个任 - ACL概率变换器:一种用于上下文词表示的概率依赖模型
我们提出了一种新的上下文词表示模型,由纯句法和概率角度设计。我们的模型类似于 transformers,能够竞争性地在小到中等规模的数据集上执行任务,希望能够弥补传统句法和概率方法与先进神经方法之间的差距,并激发未来更多基于语言学原则的神经 - 应对自适应脉冲神经元的速度 - 准确性模拟权衡
通过算法重新解释自适应泄露积分 - 放电 (ALIF) 模型,我们提供了一种解决神经模型顺序仿真的速度和精确性之间权衡的方法,并实现了在 GPU 上更高效的并行化。在合成基准测试中,我们通过小时间间隔进行了计算验证,获得了超过 50 倍的训 - 设计可解释性:包装盒将神经性能与准确解释相结合
用经典的,可解释的模型来生成对模型预测的基于实例的准确解释以保持预测性能的通用方法
- 使用合成的基于视频的数据训练鲁棒的深度生理测量模型
本文提出了在合成生理信号和相应的面部视频中添加真实世界噪声的几种方法,并在三个公开的真实世界数据集上评估了我们的框架,结果显示我们能够将平均 MAE 从 6.9 降低到 2.0。
- EMNLP利用结构化信息进行可解释的多跳问题回答和推理
构建和利用语义结构的多跳问题回答框架,通过神经模型和连续思维机制提高推理能力,并结合信息抽取和提取的语义结构实现更准确和可解释的问题回答。
- 语义对齐下的潜在空间翻译
通过简单的转换,我们的研究展示了神经网络模型中学习到的表示可以在不同的预训练网络之间进行转化,从而有效地连接编码器和解码器,并实现在多模态设置下的出色分类性能。
- 冲突感知特征解释
我们提出了一种新颖的特征归因方法 CAFE(冲突感知特征解释),它解决了现有方法中的三个限制:它们忽视冲突特征的影响,不考虑偏差项的影响,以及对基础激活函数的局部变化过于敏感。与其他方法不同,CAFE 在溯源神经元输入的影响上提供了防止效应 - MuLMS: 材料科学领域信息提取的多层注释文本语料库
提供了一个包含 50 篇开放获取文章的新数据集 MuLMS,跨越了材料科学的七个子领域,通过多任务训练与相关资源结合,展示了适用于所有任务的竞争神经模型的效果。
- WSDM拷贝还是不拷贝:神经序列推荐模型中的输出 Softmax 层是一个关键问题
最近的研究表明,现有的神经模型在处理顺序推荐任务中的重复项目时存在困难。然而,我们对这个困难的理解仍然有限。通过识别问题的主要来源 —— 输出 softmax 层中的单一隐藏状态嵌入和静态项目嵌入的相似性结构,本研究在该领域取得了显著的进展