【paper】 Probabilistic Reasoning via Deep Learning: Neural Association Models
【简介】 本文是中科大和科大讯飞联合发表在 IJCAI 2016 上的工作，本文提出了 NAM（Neural Association Model）用于概率推理，并具体化为 DNN（Deep Neural Network）和 RMNN（Relation Modulated Neural Network）两种形式。

模型

本文提出用神经网络建模两个 event 之间的关联：将一个 event 作为神经网络的输入，计算另一个 event 的条件概率。NAM 的 RMNN 形式可以进行高效的知识迁移学习。本文不属于双线性模型，应该归类为神经网络模型。

NAM overview

如果事件 E2E2 是二值的（True or False），NAM 用 sigmoid 函数计算 Pr(E2|E1)Pr(E2|E1)；如果 E2E2 是多值的，则 NAM 使用 softmax 计算 Pr(E2|E1)Pr(E2|E1)，输出多值向量。

可以表示为计算两个 event 关联概率形式的推理任务都可以套用 NAM 模型：

对于三元组分类任务，给定三元组 (ei,rk,ej)(ei,rk,ej)，E1E1 由 头实体 eiei 和关系 rkrk 组成，E2E2 是一个二元事件，用于指示尾实体 ejej 是真或假。

NAM 的 loss 采用 log-likelihood 函数：

DNN

就是一个普通的前馈网络：

这里使用 sigmoid 函数输出三元组 xn=(ei,rk,ej)xn=(ei,rk,ej) 成立的概率。

RMNN(Relation-modulated Neural Network)

每一层使用上层的头实体经过变换后的输出和关系向量的原始表示作为输入：

三元组最终得分：

实验

文本蕴含

三元组分类

常识推理

在 CN14 数据集上，RMNN 的效果都比 NTN 好一丢丢：

知识迁移学习

训练好 RMNN 后，如果想迁移到其他关系，只需要固定训练好的模型参数，为新关系学习新的 relation code（不知道是什么）即可。

如果不固定模型参数，在学习新关系时新旧关系的正确率变化如下，新关系的正确率上升，旧关系正确率稍有下降：

【总结】 本文提出用于概率推理（计算三元组得分）的神经网络框架 NAM，并具体化为 DNN 和 RMNN 两种形式。

双线性模型（四）（HolE、ComplEx、NAM） - 胡萝不青菜 - 博客园