- 大型语言模型中分类和层级概念的几何结构
大型语言模型的表示空间中如何编码语义含义是可解释性中的一个根本问题。本文研究了这一领域的两个基本问题:第一,如何表示类别概念,如 “哺乳动物”、“鸟类”、“爬行动物”、“鱼类” 等;第二,如何编码概念之间的层级关系,例如 “狗” 是 “哺乳 - GenView: 使用预训练生成模型提升自监督学习的视图质量
自监督学习通过从无标签数据中获取高质量的表示已经取得了显著的成功。GenView 是一个可控的框架,通过增加积极视角的多样性利用预训练生成模型的能力,同时保留语义。研究中引入了自适应视角生成方法来调整采样噪声水平,以确保保留基本语义意义并引 - meta4: 基于自监督文本和语音表示的语义对齐隐喻手势生成
META4 是一种深度学习方法,通过从输入文本中计算图像架构来捕获其潜在的语义和隐喻意义,并生成由语音和计算图像架构驱动的隐喻手势,从而解决了先前行为生成模型在生成隐喻手势时未考虑到重要的语义信息的局限性。
- HateRephrase: 在线帖子中使用大型语言模型进行零次和少次转换减少仇恨强度
研究表明,使用大型语言模型(LLMs)在检测潜在仇恨言论并在发布前对其进行重新表述方面表现优异,进而减少其仇恨程度而不改变原始文本的语义意义。
- GPT-3 的拓扑解读
通过使用不同的嵌入方法研究句向量与句子语义之间的相关性,我们观察到不同嵌入空间中相同句子的相关性以及相同嵌入空间中不同句子的相关性,这些观察结果与我们的假设一致并引领我们进入下一个阶段。
- ParaFuzz: NLP 中一种基于可解释性技术的检测有毒样本的方法
本研究提出了一种创新的测试时毒样本检测框架,依靠模型预测的可解释性,并关注输入的语义含义,旨在解决当前检测机制对于隐蔽型后门攻击(如基于风格的攻击)的局限性。通过采用 ChatGPT 及模版工程问题来执行触发词去除任务,并结合模糊测试技术发 - MM空中推理:基于推理的隐式语义感知通信框架
提出了一种新型的语义感知通信体系结构,称为 iSAC,它具有投影语义编码器和生成对抗性模仿学习等组件,旨在有效地传输、学习和解释源和目标用户之间的隐藏信息,从而提高用户的体验质量(QoE)。与现有解决方案相比,iSAC 需要更少的通信和计算 - SIGIRBM25 如何理解:用稀疏近似方法解释密集模型的排序列表
本文介绍了一种通过最大化 NRM 结果与稀疏检索系统结果集合之间的相似性生成等效查询的方法,以作为本地每个查询的解释。作者比较了该方法与现有方法,如基于 RM3 的查询扩展,并对检索有效性和每种方法生成的术语进行了对比。
- 基于上下文和知识图谱的动态表示
本文提出了一种名为 CKG 的动态表示方法,利用外部知识图谱中的实体信息来提高语言句子的正确语义,实验表明,CKG 在多项任务中达到了最优结果。
- 解耦表示学习
本文综合性地回顾了基于直觉和群论的定义的 DRL,将 DRL 的方法学分为四组,最后分析了设计不同 DRL 模型的原则和未来研究方向。
- 基于扩展标记分类的电商查询理解的短文本预训练
本文提出一种名为 ETC 的、针对短文本设计的预训练任务,通过输入生成网络插入标记并训练辨别器来解决搜索查询中蕴含的语境信息不足的问题,并在电子商务领域展示了其有效性。
- 用对比语料库归属解释表示
提出了一种基于对比语料相似性的无监督模型解释方法,能够产生更具有语义意义的标量解释输出,应用于图像数据增强与零样本物体定位领域。
- 基于标签嵌入的交互式双重注意力模型用于文本分类
该论文提出一种利用双向注意力和 SIAMESE BERT 捕捉标签文本中的暗示信息来进行文本分类的方法,该方法在使用标签文本时的性能明显优于现有的同类方法。
- ACL通过多任务学习在开放域对话中选择贴纸
该论文介绍了一种多任务学习方法,其包含三个辅助任务,强化对话历史、情感和标签的语义理解。在挑战性数据集上的大量实验表明,该模型可以更好地组合多模态信息,并在强基线模型上实现显着更高的准确性。消融研究进一步验证了每个辅助任务的有效性。
- ACLPANCETTA: 基于音素感知的神经补全模型自动产生绕口令
本文介绍了一个名为 PANCETTA 的自然语言处理模型,能自动生成切题难度适中但有意义的绕口令并提供了基于 PANCETTA 模型自创的数据集,经过自动和人工评估及定性分析证明,PANCETTA 模型可以生成新颖的,语音难度适中的,流利的 - 为何神经语言模型在处理问题回答的语义变化时仍需要常识知识?
本文通过使用诊断测试,揭示了预训练 MNLM 中包含的常识知识,并发现 MNLM 模型不能准确理解语义关系,还存在对需要常识知识的语义变化的脆弱性。此外,我们发现了某些知识未被训练的根本原因,并通过在受控实验中利用外部常识知识库来丰富文本的 - 文本的神经嵌入
本文提出了一种新的自然语言文本嵌入方法,从语言模型的神经元权重来生成向量,称为神经嵌入,结果表明其在语义表达方面表现良好。
- ACL使用点击流数据增强背景信息的短文本匹配
该研究提出了一种短文本匹配框架,使用自我注意机制引入外部知识以增强文本的上下文表示,实验证明该框架的性能优于现有的短文本匹配模型。
- 基于深度理解的多文档机器阅读理解
该研究提出了一种基于深度理解的多文档机器阅读理解模型,包括三个模块:准确语义理解模块、输入问题和文档的交互模块以及答案支持模块。通过对 TriviaQA Web 和 DuReader 两个基准数据集的广泛实验证明,该模型在两个数据集上均表现 - 扩散自编码器:走向有意义和可解码的表征
本研究探索使用可扩散概率模型作为自编码器的解码器,让输入图像生成一个可以被意义化和解码的编码向量,该编码向量分为两部分:第一部分是含有语义的线性编码,而第二部分是建模随机变量的编码,提升了图像生成的质量并且在其他应用中可以用来做属性调整和去