知识图谱嵌入(KGE):方法和应用的综述

admin

导读

本文主如果参考《Knowledge Graph Embedding: A Survey of Approaches and Applications》和刘知远的《常识暗示进修的钻研与希望》做的总结，重要先容了近来关于常识图谱嵌入所触及到的钻研法子，重要从交融究竟信息、交融附加信息和KGE下流使命利用三方面开展。因为篇幅较长，下图是本文的布局，可以依照本身的必要有选择性的阅读。

比年来，常识图谱(KG)的构建和利用获得了快速的成长。大量的KGs，如Freebase、DBpedia、YAGO和NELL，已被建立并乐成地利用于很多现实利用中，从语义解析和定名实体消歧到信息提取和问答。KG是由实体(节点)和瓜葛(分歧类型的边)构成的多瓜葛图。每条边都暗示为情势(头实体、瓜葛、尾实体)的三个部门，也称为究竟，暗示两个实体经由过程特定的瓜葛毗连在一块儿，比方(AlfredHitchcock, DirectorOf, Psycho)。固然在暗示布局化数据方面颇有效，可是这种三元组的底层符号特征凡是使KGs很难操作。

为领会决这个问题，提出了一种新的钻研标的目的——常识图谱嵌入。关头思惟是嵌入KG的组件，包含将实体和瓜葛转化为持续的向量空间，从而简化操作，同时保存KG的原本的布局。那些实体和瓜葛嵌入能进一步利用于各类使命中，如KG补全、瓜葛提取、实体分类和实体解析。

交融究竟信息

咱们将这类嵌入技能大致分为两类：平移间隔模子和语义匹配模子。前者利用基于间隔的评分函数，后者利用基于类似度的评分函数。在这一部门中，咱们先容了这两组嵌入技能。在此根本上，对这些嵌入技能的效力和有用性举行了比力。

平移间隔模子

平移间隔模子操纵了基于间隔的评分函数，经由过程两个实体之间的@间%13BCg%隔对究%617E9%竟@的公道性举行怀抱。

TransE模子及其扩大

TransE模子 。暗示进修在天然说话处置范畴遭到遍及存眷发源于Mikolov等人于2013年提出的word2vec词暗示进修模子和东西包。操纵该模子，Mikolov等人发明词向量空间存在平移稳定征象。比方他们发明:

遭到该平移稳定征象的开导，Border等人提出了TransE模子，将常识库中的瓜葛看做实体间的某种平移向量。对付每一个究竟三元组(h,r,t)，TransE模子将实体和瓜葛暗示为统一空间中，把瓜葛向量r看做为头实体向量h和尾实体向量t之间的平移即h+r≈t。好比：对付给定的2个究竟(姜文, 导演, 邪不压正)和(冯小刚, 导演, 青春) ，除可以获得：姜文+ 导演≈邪不压正和冯小刚+导演≈青春，还可以经由过程平移稳定性获得：邪不压正 - 姜文 ≈青春 –冯小刚，即获得两个究竟不异的瓜葛（DirectorOf）的向量暗示。咱们也能够将r,看做从h到t，的翻译，是以TransE也被称为翻译模子，如图1（a）所示，对付每个三元组（h,r,t）TransE但愿：h+r≈t，评分函数在表1中所示。

常识库中的实体瓜葛类型可分为 一对一 、一对多 、 多对一 、多对多4 种类型，而繁杂瓜葛重要指的是 一对多 、 多对一 、多对多的 3 种瓜葛类型。

固然TransE模子的参数较少，计较的繁杂度显著低落，而且在大范围希罕常识库上也一样具备较好的机能与可扩大性。可是TransE 模子不克不及用在处置繁杂瓜葛上 ，缘由以下：以一对多为例，对付给定的究竟，以姜文拍的民国三部曲片子为例，即《让枪弹飞》、《一步之遥》和《邪不压正》。可以获得三个究竟三元组即（姜文，导演，让枪弹飞）、（姜文，导演，一步之遥）和（姜文，导演，邪不压正）。依照上面对付TransE模子的先容，可以获得，让枪弹飞≈一步之遥≈邪不压正，但现实上这三部片子是分歧的实体，应当用分歧的向量来暗示。多对一和多对多也雷同。

TransH模子 。为领会决TransE模子在处置一对多 、 多对一 、多对多繁杂瓜葛时的局限性，TransH模子提出让一个实体在分歧的瓜葛下具有分歧的暗示。如图1（b）所示，对付瓜葛r，TransH模子同时利用平移向量r和超平面的法向量w_r来暗示它。对付一个三元组(h, r, t) , TransH起首将头实体向量h和尾实体向量r，沿法线wr，影到瓜葛r对应的超平面上，用h⊥和t⊥暗示以下:

是以TransH界说了以下评分函数如表1中所示，必要注重的是，因为瓜葛r:可能存在无穷个超平面，TransH简略地令r与w_r,类似正交来拔取某一个超平面。TransH 使分歧的实体在分歧的瓜葛下具有了分歧的暗示情势，但因为实体向量被投影到了瓜葛的语义空间中，故它们具备不异的维度。

TransR模子 。固然TransH模子使每一个实体在分歧瓜葛下具有了分歧的暗示，它依然假如实体和瓜葛处于不异的语义空间中，这必定水平上限定了TransH的暗示能力。TransR模子则认为，一个实体是多种属性的综合体，分歧瓜葛存眷实体的分歧属性。TransR认为分歧的瓜葛具有分歧的语义空间。对每一个三元组，起首应将实体投影到对应的瓜葛空间中，然后再创建重新实体到尾实体的翻译瓜葛。如图1（c）所示是TransR模子的简略示例。

对付每一个三元组(h,r,t)，咱们起首将实体向量向瓜葛r空间投影。详细而言，对付每个瓜葛r，TransR界说投影矩阵Mr，将实体向量从实体空间投影到瓜葛r的子空间，用h⊥和t⊥暗示以下：

然后使h⊥+r≈t⊥，评分函数如表1所示。

图1 TransE，TransH和TransR的扼要阐明

TransD模子 。固然TransR模子较TransE和TransH有显著改良，它依然有不少错误谬误:

1)在统一个瓜葛:下，头、尾实体同享不异的投影矩阵。但是，一个瓜葛的头、尾实体的类型或属性可能差别庞大.比方，对付三元组(美国，总统，奥巴马)，美国和奥巴马的类型彻底分歧，一个是国度，一个是人物。

2)从实体空间到瓜葛空间的投影是实体和瓜葛之间的交互进程，是以TransR让投影矩阵仅与瓜葛有关是分歧理的。

3)与TransE和TransH比拟，TransR因为引入了空间投影，使得TransR模子参数急剧增长，计较繁杂度大大提高。

为领会决这些问题，Ji等人提出了TransD模子。给定三元组(h, r, t) , TransD模子设置了2个别离将头实体和尾实体投影到瓜葛空间的投影矩阵Mr1和Mr2。，详细界说以下:

则头实体和尾实体用h⊥和t⊥暗示以下： TransR模子评分函数如表1所示。

TranSparse模子 。TranSparse是经由过程在投影矩阵上强化希罕性来简化TransR的事情。它有两个版本:TranSparse (同享)和TranSparse (零丁)。前者对每一个瓜葛r利用不异的希罕投影矩阵M_r(theta_r) 即：

后者对付头实体和尾实体别离利用2个分歧的投影矩阵M_r1(theta_r1)和M_r2(theta_r2)。

这里的theta_r、theta_r1和theta_r2暗示这些投影矩阵的希罕度。TransSparse模子评分函数如表1所示。经由过程引入希罕投影矩阵，TransSparse模子削减了参数个数。

TransM模子 。除容许实体在触及分歧瓜葛时具备分歧的嵌入以外，提高TransE模子机能可以从低落h+r≈t的请求钻研起头。TransM模子将为每一个究竟（h,r,t）分派特定的瓜葛权重theta_r，界说的评分函数如表1所示。经由过程对一对多、多对一和多对多分派较小的权重，TransM模子使得t在上述的繁杂瓜葛中离h+r更远。

ManifoldE模子 。ManifoldE模子则是对付每一个究竟三元组（h,r,t）将h+r≈t转换为为（h+r-t）的L2范式约即是theta_r的平方。一样地，ManifoldE把t类似职位地方于流形体上，即一个以h+r为中间半径为theta_r的超球体，而不是靠近h+r的切确点。评分函数如表1所示。

TransF利用了雷同的思惟。而不是履行严酷的翻译hpk10,+r≈t，TransF只必要t与h+r位于统一个标的目的，同时h与t-r也位于统一个标的目的。则评分函数（即t和h+r匹配，h也要与t-r匹配）如表1所示。

TransA模子 。TransA模子为每一个瓜葛r引入一个对称的非负矩阵Mr，并利用自顺应马氏间隔界说评分函数，评分函数如表1所示。经由过程进修间隔怀抱Mr, TransA在处置繁杂瓜葛时加倍机动。

Xiao等人认为TransE及其以后的扩大模子均存在2个首要问题：1)评分函数只采纳L1或L2间隔，机动性不敷；2)评分函数过于简略，实体和瓜葛向量的每维同等斟酌。

为领会决这2个问题，Xiao等人提出TransA模子，将评分函数中的间隔怀抱改用马氏间隔，并为每维进修分歧的权重。对付每一个三元组(h,r,t)，TransA模子界说的评分函数如表1所示。此中Mr为与瓜葛r相干的非负权值矩阵。

如图2所示，( h_1, r_1, t_1)和(h_2,r_2,t_2)两个正当的究竟三元组，t3是毛病的尾实体。若是利用欧氏间隔，如图2(a)所示，毛病的实体t3会被展望出来。而如图2(b)所示，TransA模子经由过程对向量分歧维度举行加权，准确的实体因为在x轴或y轴上间隔较近，从而可以或许被准确展望。

图2 传统模子和TransA模子比力

高斯嵌入模子

KG2E模子 。He等人认为，常识库中的瓜葛和实体的语义自己具备不肯定性，而曩昔模子中都疏忽这个身分。是以，He等人提出KG2E，利用高斯散布来暗示实体和瓜葛。此中高斯散布的均值暗示的是实体或瓜葛在语义空间中的中间位置，而高斯散布的协方差则暗示该实体或瓜葛的不肯定度。

图3为KG2E模子示例，每一个圆圈代表分歧实体与瓜葛的暗示，它们别离与“比尔·克林顿”组成三元组，此中圆圈巨细暗示的是分歧实体或瓜葛的不肯定度，可以看到“国籍”的不肯定度远弘远于其他瓜葛。

图3 KG2E模子

KG2E模子将实体和瓜葛暗示为从多变量高斯散布中抽取的随机向量

此中，μ_h、μ_r、μ_t是均值向量，∑_h、∑_r、∑_t代表协方差矩阵。然后，遭到平移假如的开导，KG2E模子经由过程丈量t-h和r这两个随机向量之间的间隔来为一个究竟评分，即N（μ_t-μ_h，∑_t+∑_h）和N（μ_r，∑_r）这两个散布。经由过程2种法子来举行丈量。一种是经由过程KL散度（KL间隔）来举行丈量即：

另外一种法子是计较几率的内积即：

此中μ=μ_h+μ_r-μ_t，∑=∑_h+∑_r+∑_t操纵高斯嵌入。KG2E可以有用地对KGs中实体和瓜葛的不肯定性举行建模。

TransG模子 。TransG也是对高斯散布的实体举行了建模，即：

TransG提出利用高斯夹杂模子描写头、尾实体之间的瓜葛.该模子认为，一个瓜葛会对应多种语义，每种语义用一个高斯散布来刻划，即:

这里，μ_r_i是第i个语义的嵌入，Pi_r_i是该语义的权重，I是单元矩阵。评分函数如表1所示。从评分函数公式可以看出，哪种平移间隔的夹杂是由瓜葛的分歧语义引入的，由瓜葛的分歧语义引入。这些语义组合可以经由过程CRP从数据中主动进修。

TransG模子与传统模子的比拟如图4所示。此中三角形暗示准确的尾实体，圆形暗示毛病的尾实体。图4(a)中为传统模子示例，因为将瓜葛r的所有语义等量齐观，致使毛病的实体没法被区分隔.而如图4(b)所示，TransG模子经由过程斟酌瓜葛r的分歧语义，构成多个高斯散布，就可以区别出准确和毛病实体。

图 4 传统模子和TransG模子比力

其他间隔模子

非布局化模子(UM)是TransE的一个简略版本，经由过程设置所有的r=0，获得一个评分函数如表1所示。

明显，它不克不及区别分歧的瓜葛。布局嵌入(SE)经由过程利用两个自力的矩阵M_r_1和M_r_2为每一个瓜葛r仇家尾实体举行投影，获得的评分函数如表1所示。

表1 平移间隔模子总结

语义匹配模子

语义匹配模子操纵基于类似性的评分函数。它们经由过程匹配实体的潜伏语义和向量空间暗示中包括的瓜葛来怀抱究竟的可托性。

RESCAL模子及其扩大

RESCAL模子 。RESCAL(又称双线性模子)经由过程利用一个向量暗示每一个实体来得到它的潜伏语义。每一个瓜葛都暗示为一个矩阵，该矩阵对潜伏身分之间的成对交互感化举行了建模。它把究竟（h,r,t）评分函数界说为一个双线性函数如表2所示。此中h，t暗示头尾实体，Mr暗示瓜葛矩阵。这个分数可以获得h和t的所有构成部门之间成对的互相感化(也见图5a)，对付每一个瓜葛都有O（d_2）个参数。[17]进一步假如对所有的Mr在一组平凡的秩-1矩阵长进行分化，即

TATEC不但对三向交互h╤Mrt举行建模，还对双向交互(照实体与瓜葛之间的交互)举行建模。评分函数如表2所示，此中D是所有分歧瓜葛同享的对角矩阵。

DistMult模子 。DistMult经由过程将Mr限定为对角矩阵来简化RESCAL。对付每个瓜葛r，它都引入一个向量嵌入r，并请求Mr=diag（r），评分函数如表2所示。评分函数只捕捉沿统一维度的h和t份量之间的成对交互感化(参阅图5 b)，并将每个瓜葛的参数数目削减至O(d)。但是，由于对付肆意的h和t，hTdiag(r)t = t Tdiag(r)h都是建立的，这类过分简化的模子只能处置对称的瓜葛，这明显对付一般的KGs是不克不及彻底合用的。

HolE模子 。HolE将RESCAL的表达能力与DistMult的效力和简略性相连系。它把实体和瓜葛都暗示为R_d中的向量。给定一个究竟(h,r,t)，起首利用轮回相干操作将实体暗示情势构成h*t∈R

然后将组合向量与瓜葛暗示情势匹配，以对究竟举行评分，即：

轮回相干对成对的互相感化举行紧缩(拜见图5c)。是以，HolE对每一个瓜葛只必要O(d)参数，这比RESCAL更有用。与此同时，由于轮回相干是不合适互换律的，即h*t不即是t*h。以是HolE可以或许像RESCAL那样对不合错误称瓜葛举行建模。

图5 RESCALDistMult、HolE的简略图解

ComplEx模子 。ComplEx经由过程引入复值嵌入来扩大DistMult，以便更好地对非对称瓜葛举行建模。在ComplEx中，实体和瓜葛嵌入h，r, t再也不存在于实空间中，而是存在于复空间中。界说究竟的评分函数为：

此中，t_是t的共轭和Re(·)暗示取复数的实部。这个评分函数再也不是对称的，来自非对称瓜葛的究竟可以按照触及实体的次序获得分歧的分数。近来的钻研表白，每一个ComplEx都有一个等价的HolE，反之，是在嵌入上施加共轭对称ComplEx包括HolE的特别环境。

ANALOGY模子 。ANALOGY 扩大了RESCAL，从而进一步对实体和瓜葛的类比属性举行建模，比方，AlfredHitchcock之于Psycho，正如JamesCameron之于Avatar。它遵守RESCAL并利用双线性评分函数如表2所示。此中，h，t是对付实体的嵌入向量，Mr是一个与瓜葛相干的线性映。为了对类比布局举行建模，它进一步请求瓜葛线性映照是正规的和合适互换律，即：

虽然ANALOGY暗示瓜葛为矩阵，这些矩阵可以同时对角化成一组希罕的准对角矩阵，由每一个只有O（d）自由参数。成果表白，前面先容的DistMult、HolE、ComplEx等法子均可以归为ANALOGY的特例。

基于神经收集匹配

语义匹配能量模子(SME) 。SME采纳神经收集布局举行语义匹配。给定一个究竟三元组（h,r,t），它起首将实体和瓜葛投影到输入层中的嵌入向量。然后，将瓜葛r与头实体h组合获得g_u(h,r)，并与尾实体t组合，获得暗藏层中的g_v(t,r)。则该究竟的分数终极由它们的点积界说为匹配的g_u和g_v。即：

SME有两个版本：线性版本和双线性版本。SME (线性)界说为：

SME（双线性）界说为：

此中，M_u_一、M_u_二、M_v_一、M_v_2是权重矩阵，而b_u、b_u,是跨分歧瓜葛同享的误差向量。图6（a）供给了SME的简略阐明。

神经张量收集模子(NTN) 。NTN是此外一种神经收集布局，给定一个究竟，它起首将实体投影到输入层中的嵌入向量。然后，将这两个实体h,t由瓜葛独有的张量M_r(和其他参数)组合，并映照到一个非线性暗藏层。最后，一个特定于瓜葛的线性输出层给出了评分，即：

此中M_r_一、M_r_2和b_r别离是特定瓜葛的权重矩阵和误差向量。双线性张量积hTM_rt获得一个向量，此中第i项计较为 BB 。图6（b）给出了NTN的一个简略阐明。经由过程设置所有M_r=0和b_r= 0，NTN退化为单层模子(SLM)。虽然NTN是迄今为止最具表达能力的模子，可是，因为它的每一个瓜葛的必要O(d^2*k)个参数，而且不克不及简略有用地处置大型的KGs。

多层感知机(MLP) 。MLP是一种更简略的法子，在这类法子中，每一个瓜葛(和实体)都是由一个向量组合而成的。如图6（c）所示，给定一个究竟（h,r,t）将嵌入向量h、r和t毗连在输入层中，并映照到非线性的暗藏层。然后由线性输出层生成份数，即：

此中M_一、M_二、M_3是第一层的权重，w是第二层的权重，这些都是在分歧的瓜葛中同享的。

神经联系关系模子(NAM) 。NAM利用“深度”架构举行语义匹配，给定一个究竟，它起首将头实体的嵌入向量和输入层中的瓜葛毗连起来，从而给出z_0=[h,r]。然后输入z_0输入到一个由L个线性隐层构成的深神经收集中，如许

此中M_(l)和b_(l)别离暗示第l层的权重矩阵和误差。在前馈进程以后，经由过程匹配最后一个暗藏层的输出和尾实体的嵌入向量来给出分数，即：

图6（d）供给了NAM的简略阐明。它有一个更繁杂的版本,将瓜葛嵌入r毗连到收集中的所有暗藏层。

图6 SME、NTN、MLP和NAM的简略图解

表2 语义匹配模子总结

其他法子

除上述模子外，另有其他进修头尾实体对的暗示。详细地，给定一个三元组（h,r,t），瓜葛r可以暗示为一个向量r，实体对（h,t）可以用此外一个向量p暗示。该究竟的公道性可以经由过程r和p内积举行怀抱。然后，经由过程最小化成对排序丧失来进修这些向量暗示，雷同于在Eq(2)中的界说。这类实体对暗示出格合用于瓜葛提取，其目标是肯定一对实体之间可能存在的瓜葛。一样地，头实体h可以暗示为一个向量h，实体对（r,t）可以用此外一个向量p暗示。但是，这类法子也有其错误谬误。好比，若是头-尾实体对（h_1,t）和（h_2,t）经由过程分歧的向量暗示举行建模，则它们同享的不异的尾实体信息将会丢失。并且，也没法有用地发明未配对实体(如h3和t)之间的瓜葛。别的，它还致使了空间繁杂度的增长，由于每一个实体对都必要计较一次向量暗示，它统共必要O(n^2d+md)个参数。

融入附加信息

今朝先容的法子仅利用KG中察看到的究竟来履行嵌入使命。究竟上，可以归并很多附加信息来进一步改良使命，比方实体类型、瓜葛路径、文本描写和逻辑法则。在本节中，咱们将会商若何集成这些信息。

实体类型

咱们斟酌的第一类附加信息是实体类型，即实体所属的语义种别。比方，AlfredHitchcock的类型是人，Psycho的类型是片子作品。这种信息在大大都KGs中都是可用的，凡是是由特定瓜葛编码的，而且以三元组的情势存储，比方“Psycho”、“Isa”、“CreativeWork”。如[22]所述，创建这种信息的一种简略法子是将Isa作为一个平凡瓜葛，并将响应的三元组作为平凡练习示例。

Guo等人提出了语义腻滑嵌入(SSE)模子，它请求不异类型的实体在嵌入空间中相互临近，比方，Psycho应当更靠近Avatar而不是JamesCameron。SSE采纳两种流形进修算法，即拉普拉斯特性映照和局部线性嵌入来对这类滑腻性假如举行建模。前者请求一个实体和统一种别中的每个其他实体临近，给出一个腻滑怀抱:電熨斗,

此中e_i和e_j别离是实体ei和ej的嵌入向量，若是这两个实体属于统一范围，则w=1，不然w=0。经由过程最小化R_1，只要当w=1时，咱们指望e_i和e_j之间间隔会很小。后者暗示一个实体视为其近来邻人的线性组合，即统一种别内的实体。

此中IN_ei是包括实体e_i近来邻的调集，若是e_j属于IN_ei，w=1，不然w=0。经由过程最小化R_2，咱们指望每一个实体在偏差小的环境下，从其近来的邻域举行线性重构。然后将R_1和R_2归并为正则化项，以束缚嵌入使命。在KG嵌入和下流使命中，SSE的机能都优于直接法子。SSE的一个重要限定是它假如实体的语义范围是无条理的，每一个实体彻底属于一个种别。明显，在典范的实际世界中，环境并不是如斯。

Xie等人[26]设计了交融类型的常识暗示进修(TKRL)模子，它可以处置分层实体种别和多个种别标签。TKRL是一个具备特定类型实体投影的平移间隔模子。给定一个究竟(h,r,t)，它起首用特定类型的投影矩阵展望h和t，然后将r建模为两个投影实体之间的平移。响应地，评分函数被界说为：

此中M_rh和M_rt是h和t的投影矩阵，为了处置多个种别标签，M_rh暗示为所有可能的类型矩阵的加权和，即：

此中n_h=1是h所属的种别数；c_i是此中的第i个种别；M_ci是c_i的投影矩阵；a_i是对应的权重；C_rh是头实体可以具备的与r相干的类型调集。为了进一步处置条理种别，M_ci暗示为与c_i的所有子种别联系关系的投影矩阵的构成。利用两种类型的合成操作，即：

此中，c_i_(1)，…，c_i_(l)是是条理布局中c_i的子集；M_ci_(1)，…，M_ci_(l)为投影矩阵，beta_(1)，…，beta_(l)是对应项的权重。M_rt的界说也是雷同的。固然TKRL在链路展望和三元组分类等下流使命中取患了较好的机能，但因为它将每一个种别与特定的投影矩阵相联系关系，是以具备较高的空间繁杂度。

实体类型也能够作为分歧瓜葛的头部和尾部位置的束缚，比方瓜葛DirectorOf的头实体的类型应当是人，尾实体的类型应当是片子作品。[77]和[26]试图在练习进程中施加这类束缚，特别是在反例的天生进程中。从练习中解除违背类型束缚的反例，或发生的几率很低。[93]对张量因式分化模子RESCAL施加了雷同的束缚。其思惟是抛弃具备毛病实体类型的无效究竟，只分化由残剩究竟构成的子张量。

联系关系路径

咱们斟酌的第二类附加信息是联系关系路径，即实体之间的多跳瓜葛。瓜葛路径凡是被界说为一个联系关系序列r_1,r_2,…r_l，两个实体经由过程该序列可以在图上毗连。比方，BornIn→LocatedIn是一条经由过程中心节点Leytonstone毗连AlfredHitchcock到England的路径。联系关系路径包括丰硕的语义线索，对付KG补全很是有效，比方BornIn→LocatedIn表白着AlfredHitchcock与England之间的国籍瓜葛。

联系关系路径持久以来一向对多瓜葛中数据举行钻研。比方，路径排序算法直接利用毗连两个实体的路径作为特性举行展望它们之间可能的联系关系。近来，它们已将其集成到KG嵌入中。但是，重要的挑战是如安在与实体和瓜葛不异的向量空间中暗示如许的路径。一个简略的解决方案是将路径暗示为瓜葛暗示的一部门，由于路径的语义取决于所有这些瓜葛。图7供给了这个设法的简略的阐明。现实上，几近所有现有的处置联系关系路径的法子都是利用组合计谋。典范的组合操作包含加法、乘法和递归神经收集(RNN)。

图7 路径暗示是它们的瓜葛嵌入的语义组合

Lin等人提出一种将TransE扩大到对瓜葛路径建模的法子，称为基于路径的TransE (PTransE)。给定毗连两个实体h和t的路径p=r_1→r_2→…→r_l，和构成瓜葛的向量暗示r_1,r_2,…r_l，PTransE斟酌了三种类型的组合操作，即，

这里，c_i暗示第i个瓜葛的积累路径向量；W是由所有瓜葛同享的组合矩阵。[c_i-1;r_i]暗示c_i-1和r_i的级联；f是一个非线性函数。经由过程设置c_1=r_1和递归地从左到右遍历，终极可以获得p=c_l，然后请求路径p与两个实体之间的直接瓜葛r一致，，即当(h,r,t)建立时，||p-r||_1趋于较小。对付每一个究竟，PTransE界说了关于这些路径的丧失，即，

此中IP(h,t)是毗连h和t的所有路径的调集；R(p|h,t)暗示给定这两个实体的路径p的靠得住性；Z是归一化因子；l(p,r)是在路径联系关系对(p,r)上指定的丧失。路径靠得住性R(p|h,t)可以用基于收集的资本分派机制计较，丧失l(p,r)界说为:

它的||p-r||_1值比任何||p-r’||_1都低。最后，为了进修实体和瓜葛暗示，将L_path路径汇集在ID中的所有究竟之上，然后与原始的传输丧失相连系。实行成果表白，经由过程进一步交融联系关系路径，PTransE在KG补全和瓜葛提取方面较着优于TransE。

Guu等人提出了一种雷同的框架，其思惟是操纵实体对不但与瓜葛相连，并且与联系关系路径相毗连。比方，给定一对实体(h,t)和它们之间的路径p= r_1→r_2→…→r_l，可以机关一个新的三元组(h,r,t)。要创建如许的路径毗连三元组，Guu等人设计了TransE模子和RESCAL模子的扩大。前者利用加法组合，并将(h,r,t)的分数界说为:

尔后者选择乘法组合，并将分数界说为：

然后，在练习进程中，将路径毗连三元组视为与那些瓜葛毗连的三元组不异。这类法子在答复KGs上的路径盘问方面表示杰出。

在连系联系关系路径提高模子机能的同时，大量的路径对模子的繁杂度提出了严重的挑战。[27]和[28]都必需经由过程抽样或剪枝举行类似。为了实现有用的路径建模，[29]提出了一种动态计划算法，该算法可以将所有鸿沟长度的联系关系路径连系起来。

文本描写

本节会商对实体的文本描写的集成。现实上，在大大都KGs中，对付包括丰硕语义信息的实体，有简明的描写。图8显示了在FreeBase中对AlfredHitchcock和 Psycho描写信息。别的,实体描写除存储在KGs之外，它还可以扩大到连系更多的一般文本信息，如公布的消息和维基百科文章。

图8 实体描写示例

嵌入带有文本信息的 KGs可以追溯到前面讲述的NTN模子，此中文本信息只是简略的用于初始化实体暗示。详细来讲，NTN起首从辅助消息语料库中进修单词向量，然后经由过程对包括在其名称中的单词的向量求均匀来初始化每一个实体的暗示。比方，AlfredHitchcock的嵌入是经由过程 “Alfred”和“Hitchcock”的均匀单词向量初始化的。厥后在[ 76 ] 中提出了一种雷同的法子，它把实体暗示为描写的均匀词向量而不但仅是它们的名称。因为这类法子将文本信息与KG究竟分隔，是以不克不及操纵它们之间的交互信息。

Wang等人起首提出了一个结合模子，它可以在嵌入进程中更好地利用文本信息。其焦点思惟是使给定的KG与辅助文本语料库对齐，然后再结合举行KG嵌入和词嵌入。如许，实体/瓜葛和词就是在统一个向量空间中暗示的，是以它们之间的运算如内积(类似性)是成心义的。该结合模子具备三个构成部门：常识模子，文本模子和对齐模子。常识模子是将实体和瓜葛嵌入到KG中。它是TransE的变体，丧失L_k丈量KG究竟的拟合度。文本模子是在文本语料库中词嵌入，它是Skip-gram的变体，丧失L_t丈量对共现词对的拟合度。最后,对齐模子包管了实体/瓜葛的嵌入，和单词位于不异的空间中。还引入了分歧的对齐机制，好比经由过程实体名称、维基百科和实体描写对齐。将丧失L_A界说为丈量对齐的质量。然后,结合模子将三个丧失最小化，即：

结合嵌入操纵来自布局化的KGs和非布局化文本的信息。是以，可以经由过程相互加强KG嵌入和词嵌入。别的，经由过程对这两种类型的信息举行对齐，结合嵌入还可以或许展望KG不包括的实体，即呈现在web文本中但在KG不包含的短语。

Xie等人[32]提出了一种交融描写的常识暗示进修模子，其目标是对TransE举行扩大以便更好地处置实体的描写。DKRL将实体e与两个向量暗示相联系关系，即基于布局的e_s和基于描写的e_d。前者捕捉KG究竟暗示的布局信息，尔后者捕捉实体描写暗示的文本信息。基于描写的暗示由构成词嵌入组成，经由过程持续的词袋编码器或卷积神经收集编码器来机关。给定一个究竟（h,r,t），DKRL把评分函数界说为：

此中r是瓜葛的向量暗示，并同享基于布局的h_s/t_s和基于描写的h_d/h_d。然后，经由过程最小化Eq(2)中界说的排序丧失，可以同时进修实体、瓜葛和词嵌入。实行成果证了然DKRL相对于TransE的优胜性，出格是在超越KG包括实体的环境下。

Wang等人近来提出了一种文本加强的KG嵌入模子，称为TEKE。给定一个KG和一个文本语料库，TEKE起首对语料库中的实体举行注释，并机关一个由实体和词构成的共现收集。然后，对付每一个实体e，TEKE将其文本的上下文n(e)界说为它在共现收集中的邻域，即文本语料库中与实体频仍共现的词。对该实体进一步引入了文本上下文嵌入n(e)，把它界说为n(e)中单词向量的加权均匀值。对付究竟（h,r,t）中的每个瓜葛r，TEKE将其文本上下文界说为h和t的配合邻域，即n(h,t)=n(h)∩n(t)。雷同地,为该瓜葛界说文本上下文嵌入为n(h,t)。然后将文本上下文嵌入连系到传统法子中，比方TransE，以进修更有表达能力的实体和瓜葛暗示，比方：

此中A，B是权重矩阵，h，t，r误差向量。此扩大也合用于TransH和TransR。经由过程连系文本上下文嵌入，证实TEKE是优于本来的TransE、TransH和TransR模子。

逻辑法则

最后，咱们斟酌了逻辑法则的连系，出格是那些用一阶Hron条目来暗示的法则，比方

指出由瓜葛HasWife毗连的任何两个实体也应当由瓜葛HasSpouse毗连。这类逻辑法则包括丰硕的布景信息，在常识获得和推理中获得了遍及的钻研，凡是基于马尔可夫逻辑收集。另有一些体系，如WARMR、Aleph和Amie，可以从KGS中主动提取逻辑法则。

Wang等人试图操纵法则改良KG补全进程中的嵌入模子。在他们的钻研中，经由过程操纵嵌入模子天生的方针函数和法则的束缚把KG补全当成为一个整数线性计划问题。以这类方法揣度出的究竟将是嵌入模子中最优先斟酌的，而且合适所有法则。雷同的，[24]先容了经由过程马尔可夫逻辑收集的连系法则和嵌入模子的法子。但是，在[23]和[24]中，因为法则与嵌入模子别离建模，作为后处置的步调，是以其实不会有助于得到更好的嵌入。

Guo等人提出了一种将KG究竟和逻辑法则同时嵌入的结合模子。这类法子的一个关头构成部门，称为KALE，是在一个同一的框架中暗示和对究竟和法则建模。详细来讲，究竟(h,r,t)被看做是一个基来源根基子，其真值被界说为:

此中，d是嵌入向量的维度，I(h,r,t)∈[0,1] 是TransE评分函数的线性转换版本暗示究竟建立的可能性。逻辑法则起首被实例化为根基法则，好比可以把

转化为：HasWife(AlfredHitchcock;AlmaReville) →HasSpouse(AlfredHitchcock;AlmaReville)然后，将根基法则可以诠释为经由过程将基来源根基子与逻辑毗连词（好比∧和→）组合而机关的繁杂公式，并采纳t-范数模胡逻辑举行建模。根基法则的真值是经由过程特定的基于t-范数的逻辑毗连词，组成基来源根基子的真值的组合，好比：

这个值也在[0,1]的范畴内，暗示在多大水平上知足了根基法则。以这类方法，KALE在一个同一的框架中暗示究竟和法则，别离是原子公式和繁杂公式。图9供给了该框架的简略图示。在同一究竟和法则以后，KALE最小化了二者进修实体和瓜葛嵌入的全局丧失。是以，所进修的嵌入不但与究竟兼容，并且与法则兼容，这对付常识获得和推理更加有用。

图 9 KALE的简略阐明

Rocktaschel等人设计了一个雷同于KALE的模子。但是，在他们的事情中，是为实体对而不是单个实体引入向量嵌入，使其出格合用于瓜葛提取。因为实体确切没有本身的嵌入瓜葛，没法有用地发明未配对实体之间的瓜葛。[34]和[35]二者有一个配合的错误谬误：在进修它们的模子以前，它们必需将广泛量化的法则实例化为根基法则。该根基的进程可能在时候和空间上效力极低，特别当KG中存在大量的实体且法则自己是繁杂时或法则自己是繁杂时。要解决此问题Demeester等人的错误谬误[111]近来提出了[35]的扩大，其焦点思惟是操纵逻辑正则化瓜葛嵌入的影响防止接地。比方，给定一个广泛量化的法则

[111]测验考试只利用两个瓜葛的嵌入HasWife和HasSpouse对其举行建模，而无需实例化在KG中的详细的实体x和y。但是,此计谋仅合用于最简略情势的法则好比：

而且不克不及推行到更繁杂的法则。

其他信息

除上述四种类型的附加信息外，另有一些钻研试图将其他信息转化为KG嵌入。

实体属性 。Nickel等认为KGs中的瓜葛可以暗示实体(比方，AlfredHitchcock、HasWfe、AlmaReville)和实体属性(比方，AlfredHitchcock、性别、男性)之间的瓜葛，但大大都KG嵌入技能没有明白区别瓜葛和属性。以张量分化模子RESCAL为例。在这个模子中，每一个KG瓜葛被编码为张量的一个片断，不管它暗示一个真瓜葛仍是一个属性。这类对属性的无邪处置将光鲜明显地增长张量的维度，但是，这个张量中的大量条款将被挥霍。[14]为领会决这一问题，[22]建议明白区别属性和瓜葛。瓜葛依然是用张量编码的，而属性则是在零丁的实体属性矩阵中编码的。然后，将该矩阵与张量一块儿分化，以便同时进修实体、瓜葛和属性的暗示。雷同的设法厥后在平移间隔模子中举行了钻研。

时序信息 。Jiang等[115]察看到KGs究竟@凡%4a5E9%是对时%aV7HW%候@是敏感的，比方(Alfredhtchock，Bornin，Leytonstone）产生在1899年，而(Alfredhtchock,Diedin,Belair)在1980年。基于这类察看，他们提出了时候感知嵌入模子。该模子的思惟是在时候敏感的瓜葛对上参加时候次序束缚，比方：Bornin和Deedin。给定如许的一对（r_i,r_j）,先前的瓜葛应当靠近于随后的瓜葛时候转换后的瓜葛，即，M_r_i=r_j，此中M为在瓜葛之间的捕捉时候次序信息的转换矩阵。

在参加如许的时候次序束缚以后，[115]可以或许进修在时候上一致的瓜葛嵌入。Esteban等人试图对KGs的时候演变举行建模。在他们的模子中，他们利用标识表记标帜的四元组暗示的事务好比(h,r,t,s;True)和(h,r,t,s;False)，别离表白该究竟在时候s呈现和消散。然后将每一个四元组建模为h、r 、t和s，此中s是时候特性向量。该模子在医学和传感器数据等动态范畴表示杰出。Trivdi等[117]近来提出，跟着时候的推移，进修非线性进化的实体暗示，以便在动态KGs长进行时候的推理。动态KG中的每一个究竟可以暗示为四元组（h,r,t,s），暗示头实体h与尾实体t在时候s上才会存在瓜葛r。然后经由过程历时间点进程[118]来摹拟究竟的产生，用双线性评分函数获得实体间的多瓜葛交互环境，和操纵深度递归神经收集进修非线性进化的实体暗示。这类法子在链接展望，出格是时候展望方面表示很好。

图布局 。Feng等人[119]提出了一种操纵三种图布局进修实体和瓜葛暗示的图感知嵌入模子。第一个是邻域上下文，它现实上至关于在KG中察看到的三元组。第二个是路径上下文，和上面会商的瓜葛路径雷同。最后一个是边沿上下文，在以前先容的法子中都没有斟酌到这一点。给定一个特定的实体，它的边沿上下文被界说为链接到该实体的所有类型的瓜葛，仅仅基于如许的直觉，所有这些瓜葛也都代表着这个实体。

比方，AlfredHitchcock的边沿上下文可能包含BornIn、Deedin、HasWife和DirectorOf等瓜葛，所有这些都表白AlfredHitchcock是一小我或更正确地说他是一个导演。实行成果进一步证了然这些图布局建模的有用性。Jiang等人建议从究竟直接的上下文来估量其公道性。对付究竟（h,r,t）,将它的直接上下文界说为：(i)在三元组中h是头实体，(ii) 在三元组中h是尾实体，(iii) 在三元组中t是头实体，(iv) 在三元组中t是尾实体，(v)两个实体是h和t且具备肆意瓜葛的三元组。该钻研表白，在展望多瓜葛数据的链接是有用的。

其他相干进修法子的阐明。另外一条钻研思绪是将KG嵌入与其他瓜葛连系在一块儿。比方，路径排序算法(PRA)，它是采纳分歧类型的算法的法子。Dong等人提出了经由过程交融体系将MLP与PRA相连系的法子。详细地, 在别离对这两种模子举行拟合后，它们利用MLP和PRA的输出作为标量特性，经由过程练习二分类器进修一个终极的交融层。他们发明交融这两种模子可以或许改良机能：交融体系的成果是：ROC曲线下的面积为0.911，而PRA是0.882 和MLP是0.884。Nickel等设计了一个通用框架，将潜伏变量模子和可观测变量模子连系起来。出格是，若是将Rescal与PRA连系，则评分函数变成：

此中第一项是RESCALE评分函数和第二项是PRA评分函数，此中Φht是由路径特性构成的特性向量，w_r是这些特性的权值。这是一个结合模子，可以经由过程瓜代优化RESCAL参数和PRA参数来举行练习。在组合后，RESCAL只需对不克不及用PRA建模的“残差”举行建模，这必要较小的潜伏维数，并要加速练习速率。

下流使命利用

在对当前可用的KG嵌入技能举行了体系的回首以后，本节将摸索若何将进修到的实体和瓜葛嵌入利用到各类下流使命中，并从中获益。咱们将这些使命分为(i) in-KG利用和(ii) out-of- KG利用，会商以下。

In-KG 利用

In-KG利用是在KG范畴内举行的利用，在此范畴内进修实体和瓜葛嵌入。咱们将先容四个如许的利用步伐，即链接展望、三元组分类、实体分类和实体解析。所有的这些利用都是从分歧的角度和利用上下文对KG输入举行各类细化(比方补全或去重)。

链接展望

链接展望凡是指的是展望与给定实体有特定瓜葛的实体的使命，即,给定（r,t）展望h或给定(h,r)展望t; ,前者可以暗示为（?,r,t)，后者为（h,r,?）。这本色上是一个KG补全的使命，行将缺失的常识添加到图谱中。这个链接展望使命有时也称为实体展望或实体排序。雷同的也能够用来展望两个给定实体之间的瓜葛，即(h,?,t)凡是称为瓜葛展望。

经由过程事前进修实体和瓜葛暗示，链接展望可以经由过程一个简略的排序进程来实现。展望使命以（?,r,t)为例。为展望头实体,可以将KG中每一个实体h作为候选谜底，然后为每一个实体计较f(h,t)分数。一旦对KG举行了嵌入模子的练习，便可以利用所进修的嵌入和评分函数轻松地实现这一点，比方，若是利用TransE举行KG嵌入，则利用f(h,t)=-||h+r-t||1/2。将这些分数按降低次序分列将获得一个候选谜底的排序列表。比方，对付展望使命(?,DirectorOf,Psycho) ，可使用这个排序进程天生一个有序列表{JamesCameron, AlfredHitchcock, GeorgeLucas,QuentinTarantino}。展望使命（h,r,?）或(h,?,t)也能够以一样的方法举行。

为了举行评估，凡是的做法是将准确谜底的分列次序记实在有序列表中，以便检察是不是可以将准确谜底分列在毛病谜底以前。在前面提到的 (?, DirectorOf, Psycho)准确谜底AlfredHitchcock排在第2。准确谜底排序数越小暗示机能越好。基于这些排序设计了各类评价尺度，如均匀排序(展望的排序数字的均匀值)、均匀倒数排序(倒数排序的均匀值)、Hits@n(n个准确排序所占的比例)、AUC-PR(正确率-召回率曲线下的面积)。

三元组分类

三元组分类在于验证三元组暗示的究竟（h,r,t）真假，比方, (AlfredHitchcock,DirectorOf, Psycho)归类为一个真的究竟,而 (JamesCameron, DirectorOf, Psycho)则归类一个假的究竟。一样，这个使命也能够看做是对KG输入的补全。

回忆一下,一旦在KG上学会了一个嵌入模子,咱们可以计较任何三元组（h,r,t）的得分，只要h,t E IE和r E R,比方，假如利用TransE进修KG嵌入，则可使用f(h,t)=-||h+r-t||1/2 计较得分。三元组分类可以简略地在三元组得分的根本长进行。分数高的三元组常常是真的究竟。详细地说,咱们为每个瓜葛r引入一个阈值d。然后从任何的究竟瓜葛,说（h,r,t）,若是它的分数f(h,t)高于d则视为真的,不然则视为假的。经由过程这类法子，咱们获得了每个瓜葛的三元组分类器。传统的分类指标可以用来评估这个使命，比方，微观和宏观的均匀精度。由于对付每个三元组实值分数都将与二进制标签一块儿输出，排序指标也能够在这里利用，比方，均匀精度均值。

实体分类

实体分类的目标是将实体划分为分歧的语义种别，比方，AlfredHitchcock是一小我，Psycho是一部缔造作品。因为在大大都环境下，瓜葛编码实体类型(暗示为IsA)包括在KG中，而且已包括在嵌入的进程中，是以实体分类可以看做是一个详细的链接展望使命，即（x,IsA,?）。雷同的展望和评估法子的详细细节可以看链接展望那一节，实体分类明显也是一个KG补全问题。

实体解析

实体解析包含验证两个实体是不是指的是统一个工具。在一些KGs中，很多节点现实上指的是不异的工具，比方，在Cora 数据集中，包括了作者、题目和地址字段的援用，作者或地址的名称可以用分歧的方法编写。实体解析是删除这些反复的节点的使命。

Bordes等人斟酌了如许一种场景，此中KG已包括了一个瓜葛，该瓜葛声明两个实体是不是相称(暗示为EqualTo)，而且已进修了该瓜葛的嵌入。在这类环境下，实体解析退化为三元组分类问题，即,果断三元组（x,EqualTo,y）是不是建立或这个三元构成立有多大的可能性。经由过程嵌入茵蝶,模子输出的三元组评分可以直接用于这类展望(详见三元组分类)。但是，这类直观的计谋其实不老是有用，由于并不是所有的KG都编码EqualTo瓜葛。Nickel等人提出仅基于实体暗示来履行实体解析。详细地,给定两个实体x, y和它们的向量暗示x, y, 则x和y之间的类似性为:

请输入题目

这个类似度评分用于怀抱x和y指向统一实体的可能性。即便在KG输入中没有编码EqualTo瓜葛，新计谋也能够起感化。AUC-PR是对付这类使命利用最遍及的评价指标。

Out-of-KG利用

Out-of-KG利用是那些冲破KG输入鸿沟并扩大到更遍及范畴的利用。本文先容了三种利用实例，包含瓜葛抽取、问答和举荐体系。咱们不追求对这些使命举行体系性地概述或先容最新的技能。相反，咱们出格存眷若何将KG嵌入利用于这些范畴。咱们但愿它们能为KG嵌入的将来的利用供给新的视角。

瓜葛抽取

瓜葛抽取的目标是从已检测到实体的纯文本中抽取瓜葛究竟。比方，从给定“Alfred Hitchcock directed Psycho”(Psycho)中可以检测到h=AlfredHitchcock和t=Psycho两个实体，一个瓜葛抽取器应当展望这两个实体之间的瓜葛是DirectorOf。瓜葛抽取持久以来一向是天然说话处置中的一项首要使命，为扩大KGs供给了有用的法子。很多钻研都试图操纵KGs来完成这一使命，但凡是作为长途监视来主动天生标识表记标帜数据。可是这些法子依然是基于文本的抽取，而疏忽了KG本身推理新究竟的能力。

近来，Weston等人提出将TransE与基于文本的抽取器相连系的法子，以便更好地举行瓜葛抽取。详细来讲，在练习阶段，他们从文本语料库中进修一个基于文本的抽取器，并从与该语料库对齐的KG中进修一个TransE模子。基于文本的抽取器对每一个瓜葛r与其文本说起m之间的类似性举行评分，即Stext(m,r)。这些评分可以用来展望它们的文本说起的瓜葛，即证据来自文本语料库。与此同时,TransE模子对在KG中的每一个缺失的的究竟（h,r,t）的公道性举行打分。这些分数可以用来展望它们与KG中实体的交互瓜葛，即证据来自KG。在测试阶段，给定两个实体h, t，和所有与它们相干的瓜葛Mht，起首利用基于文本的抽取器对举行展望获得r，然后对候选究竟举行一个复合的评分计较，即

这个复合模子支撑的展望不但与文中提到的一致，并且与KG一致。实行成果进一步表白，与传统的基于文本的抽取器比拟，采纳TransE模子可以乐成地改良传统的基于文本的抽取器。参加TransH和TransR后也察看到雷同的改良。

图10 文本和KGs的编码矩阵

Riedel et al.[21]设计了一个分歧的框架，经由过程将纯文本和KGs结合嵌入，来实现瓜葛提取，在他们的事情中，文本和KGs被暗示在统一个矩阵中。矩阵的每行代表一对实体，每列代表一个说起的文本或KG瓜葛。若是两个实体与纯文本中的一个提到或与KGs中的瓜葛同时呈现，则将响应的条款设置为1，不然设置为0。对付练习实例(实体对)，咱们可以同时察看文本说起和KG瓜葛，而KG瓜葛作为首要的监视。可是对付测试实例，只有文本提到是可用的。然后，瓜葛提取用于展望测试实例缺乏的KG瓜葛。

图7给出了这个场景的一个简略插图。本文提到，这项使命利用了协作过滤技能，它分化输入矩阵来进修实体对的向量嵌入和千克瓜葛。该框架还改良了传统的基于文本的提取器。Fan等[88]也提出了雷同的概念瓜葛提取法子。但在他们的事情中，第一矩阵中的一组列对应于文本特征并采纳矩阵补全技能[128]取代矩阵分化技能。Chang等人[93]厥后设计了一种基于张量的变体用三模张量编码纯文本和KGs，然后操纵RESCAL模子分化张量。

本文斟酌一个详细的问题答复使命，即给定一个用天然说话表达的问题，使命是从一个KG[11]、[12]中检索由三元组或三元组支撑的准确谜底。这里咱们展现了一些问题、谜底和支撑三元组的例子:

KGs的利用简化了问题的答复，以布局化的格局组织了各类各样的谜底。但是，因为天然说话的较大的变革性和KGs的庞大的范围，这依然是一个具备挑战性的使命。

Bordes等报酬这项使命引入了一个基于嵌入式的框架。该法子的焦点思惟是进修单词和KG成份的低维向量嵌入，使问题的暗示和响应的谜底在嵌入空间中互相靠近。详细地说，让q暗示一个问题和a暗示一个候选谜底。函数S(q,a)，基于向量映照举行,目标是给问题谜底之间的类似性举行评分,即

上式中W是一个包括单词、实体和瓜葛嵌入的矩阵;Φ(q)和ψ(a)是两个希罕向量，前者暗示问题中呈现的单词，后者暗示谜底中呈现的实体和瓜葛。

WΦ(q)和Wψ(a)别离是问题和谜底在嵌入空间中的向量暗示。二者都是各自成份的嵌入组合，即辞汇、实体和瓜葛。若是问题问的是准确谜底,S(.,.)天生一个高分,不然和较低的评分。给定一组由问题和准确谜底配对构成的练习集，可以经由过程利用典范的成对排序优化来进修嵌入W，这使得一对准确的得分高于任何一对毛病的得分。练习集可以经由过程众包机制建立，也能够经由过程在KGs上主动天生种子模式来建立。经由过程对W练习，在测试时，对付给定的问题q，展望谜底为

上式中A（q）是候选谜底集。Bordes等人履历表白,这类直观的法子实现了较好的的成果，在不利用任何辞书,或分外的步调词性标注法则,语法或依靠项解析在练习最传统的问答体系。

体系举荐

体系举荐向用户供给关于他们可能但愿采办或查抄的商品的建议。在分歧的举荐计谋中，将用户与商品之间的交互建模为用户与商品之间的即时暗示的产物的协同过滤技能取患了显著的乐成。但是，如许的技能其实不老是有用，由于用户-项目交互可能很是希罕。在这类环境下，将用户-物品交互和用户或物品的辅助信息相连系的夹杂举荐体系凡是可以得到更好的机能。

Zhang等人近来提出了一种夹杂举荐框架，该框架操纵KG内的异构信息来提高协同过滤的质量。详细地说,他们利用存储在KG的三种类型的信息,包含布局性常识(究竟三元组),文本常识(比方,一本书或一部片子的文赋性的总结),和视觉常识(比方,一本书的封面或片子海报图片),为每项天生语义暗示。为了对布局常识举行建模，采纳了一种典范的KG嵌入技能，即TransR利用，它为每项进修布局暗示。对付此外两种信息，采纳叠加去噪主动编码器和叠加卷积主动编码器别离提取每项的文本暗示和视觉暗示。然后，为了举行协同过滤，将每一个用户i暗示为一个潜伏向量u i，每项j暗示为一个潜伏向量

此中，sj、tj和vj别离是与该项相联系关系的布局暗示、文本暗示和视觉暗示，而hj是一个偏移向量。然后将用户i对item j的偏好建模为两个潜伏向量的乘积，即 u T _i*e_j。操纵对优先级的排序优化来进修这些潜伏向量。最后，在测试时，给定方针用户i，可以按照下面的排序尺度举行item举荐：

上式中i:jsjt暗示用户i更喜好项目js而不是jt。实行成果证了然从KG中进修的三种类型的暗示法子在举荐体系中的有用性。

KG嵌入是一种将实体和瓜葛嵌入到持续向量空间的法子，在各类面向实体的使命中获得了遍及的利用，并敏捷获得了遍及的存眷。本文体系地回首了当前可用的技能，出格是基于KG嵌入中利用的信息类型。起首先容了仅利用在给定KG中察看到的究竟举行嵌入的最新技能。咱们描写了整体框架，详细的模子设计，和这些技能的优错误谬误。在此根本上，并对KG嵌入技能举行了深刻的钻研。咱们出格偏重于四种类型的附加信息的归并，即:、实体类型、瓜葛路径、文本描写和逻辑法则。关于纳入更多资料的钻研才方才起头，在不久的未来可能会获得愈来愈多的注重。最后，本文探究了KG嵌入技能的利用。先容了两种类型的利用，即，In-KG利用在KG输入的范畴内履行，Out-of- KG利用扩大到更遍及的范畴。咱们但愿经由过程此次简短的摸索，为此后KG嵌入技能的利用供给新的思绪。