- 神经符号熵正则化
本文介绍了一种统一 neuro-symbolic 和 entropy regularization 的框架,并提出了一种神经符号熵正则化损失函数,用于半监督和全监督结构化预测实验中的有效性测试。
- AAAIInterscript:通过错误反馈进行脚本交互学习的数据集
本研究提出了一个名为 Interscript 的数据集,其中包含用户反馈的部署模型的数据,可以用于测试和调整在实际环境中使用的模型的性能,这可以在交互式学习中显着提高科技水平。
- CVPRFastDOG: GPU 上的快速离散优化
本文提出一种基于广泛并行的拉格朗日分解方法,用于解决出现在结构化预测中的 0-1 整数线性规划问题。通过使用二叉决策图对子问题进行表示,我们的 GPU 实现改进了 Lange 等人 (2021) 算法的运行时间。
- EMNLP基于图的推理解码提升了问题回答的组合泛化能力
提出了一种名为 Grounded Graph Decoding 的方法,通过使用注意力机制将结构化预测接地,从而提高语言表示的组成泛化,该方法显示出无需在目标领域做出任何假设即可学习组不变表示的能力,显著提高了复杂输入的一般性。
- 基于能量学习的场景图生成
本文介绍了一种基于能量的学习框架,用于生成场景图,允许将场景图的结构有效地纳入输出空间中,通过在学习框架中添加一些约束条件,可以最终提高模型的性能,在视觉基因组和 GQA 基准数据集上的性能提高了 21%和 27%,在零样本和少样本情况下优 - 结构化预测作为增广自然语言之间的翻译
提出了一种新的框架,称为 TANL,可用于各种结构预测语言任务,包括实体关系提取,嵌套命名实体识别,关系分类,语义角色标注,事件提取,共指消解和对话状态跟踪。使用相同的架构和超参数解决所有任务,甚至可以训练一个模型来同时解决所有任务(多任务 - 语言中组合泛化的分层偏序解码
本文提出一种新的分层偏序集解码范例,以促进语言的组合泛化能力,并在特定于组成性泛化的自然语言问答数据集上进行了实验。
- EMNLP结构化预测的集成蒸馏:校准、准确、快速 - 选择三项
研究了集成蒸馏作为一个通用框架,以产生良好校准的结构化预测模型,同时避免在推断时集成蒸馏的代价,本文对其在两个任务上进行了验证:命名实体识别和机器翻译。我们发现,在这两个任务中,集成蒸馏产生的模型保留了集成的性能和校准优势,而且只需要在测试 - ACL结构知识蒸馏:可行地蒸馏结构预测器的信息
该文提出了一种可用于解决结构化预测问题的知识蒸馏目标函数的分解形式,该分解形式对于许多师生模型的典型选择是可处理的。具体而言,它展示了四种不同情况下序列标注和依赖解析模型之间的结构知识蒸馏的可处理性和实际有效性。
- EMNLP超级标签中 Beam-Aware 训练的实证研究
本文实证研究了结构化预测方法中的基于局部标准化模型的最大似然训练和基于波束搜索的近似解码的问题,提出基于波束的训练算法来解决这一问题并探究了其对模型性能的影响与稳定性,结论表明波束训练可有效提高模型性能并建议模型学习中采用搜索以最大化模型效 - CVPRDiverseNet:当一个正确答案不够时
本文介绍了一种简单的方法来训练神经网络,使得每个测试查询时间内能够进行多元化的结构性预测,同时比现有方法具有更好的多样性和速度。在 2D 图像填充,3D 体积估计和流场预测等三个具有挑战性的任务中,我们的方法得到了量化的改进。
- 利用最大 - 最小边缘马尔可夫网络实现一致结构化预测
提出了一种名为 max-min margin Markov networks(M4N)的方法,用于解决结构化预测时,输入和标签之间的关系不确定时,支持向量机等二元分类方法具有的一致性问题,并证明了其一致性和有限样本的泛化界限。
- ACL使用整流器网络学习结构预测的约束条件
本研究旨在解决自然语言处理的结构预测问题中限制管控的好坏与实现的关系,提出了一种基于双层整流网络的学习限制方法,可以通过学习网络的参数生成一系列线性约束,从而提高 NLP 任务的预测准确性。
- ACL基于实例学习的跨度表示:以命名实体识别为例的案例研究
通过实证分析命名实体识别,我们展示了一种能够在不牺牲性能的前提下开发具有高可解释性的模型,其具有可解释的推理过程并学习了跨度之间的相似性的基于实例的学习方法。
- 通过 Infimum Loss 实现部分标注的结构化预测
本文提出了一种基于结构化预测和概念的下确界损失的统一框架,以处理一系列学习问题和损失函数中的部分标注,其中监督以包含实际标签的标签集的形式呈现,并且明确的算法可以轻松实现,并且证明了统计一致性和学习速率。实验证实所提出的方法优于常用的基准方 - 可微扰优化器学习
通过将优化器转换为可微分操作的方法,我们提出了一种扩展端到端学习的方法。该方法依赖于随机扰动优化器,并可以与现有求解器一起使用。我们还展示了如何将此框架与结构预测中开发的一系列损失相连接,并为其在学习任务中的使用提供了理论保证。
- 密度估计与序列生成之间的偏差
通过比较几个密度估计器在五个机器翻译任务上的表现,我们发现,基于对数似然和 BLEU 的模型排名的相关性因比较的模型范围而异。
- Torch-Struct: 深度结构化预测库
Torch-Struct 是一个用于结构化预测的库工具,使用基于向量化和自动微分的框架,并提供简单灵活的基于分布式 API 的概率结构来连接任何深度学习模型,并且经过内部的优化使其快速可读,在基准测试中表现良好。
- ICML稀疏结构预测的可微松弛优化:LP-SparseMAP
本文介绍了 LP-SparseMAP,这是 SparseMAP 的一个扩展,它通过本地多面体松弛来解决 SparseMAP 的一个限制。LP-SparseMAP 使用因子图的领域特定语言来定义和回溯任意隐藏结构,支持粗分解,硬逻辑约束和高阶 - 使用条件正则流学习似然函数
本文介绍了一种新方法,叫做 CNF,用于建模条件密度函数和解决结构预测问题,同时证明了该方法在超分辨率和血管分割等任务上具有竞争力。