电商信息资讯,更全更新信息实报!
主页 > 知识 > > 正文

基于知识图谱的电影自动问答系统(二)自动问答实现

来源:网络整理 发布时间:2021-10-03 23:03 标签:分类器
浏览:

自动问答的流程

我们的自动问答主要流程按问题的抽象与分类、问题的扩展与抽取、答案的生成展开。问题的抽象与分类主要用于确立问题的意图,问题的扩展与抽取主要是将问题扩展并转化为标准模板,以便抽取。答案的生成主要是将抽取的实体构建实体链,然后访问图形数据库,以求答案。

问题的抽象

首先电商 知识图谱电商 知识图谱,我们主要采以 Hanlp 提供的通用型命名实体工具包,并添加部分人工标注的命名实体,其添加的细则如下表所示:

这里写图片描述

问题的抽象主要是为问题的分类做前期的预处理工作。由于用户可能的问题会涉及到不同的电影名称、电影角色等,为了方便问题的分类,需要将特定的电影名称抽象到统一的概念,以下面的例子为例:

源问题:但丁密码中饰演罗伯特兰登的演员是谁?

抽象问题:nm 中饰演 nnt 的演员是谁?

如上面的例子,问题中涉及到专有的电影名称会转化为他的词性 nm。这样做的好处在于能让分类器减轻特征的选取工作量,也可以缩减训练集的规模。

问题的分类

按知识图谱的内容,我们将问题分成以下不同的类型电影的基本属性、主题、制作、内容、角色等,具体的内容分类如下表所示:

这里写图片描述

对于电影的分类,我们主要利用了 spark 构建了贝叶斯分类器,通过人工标注的方法形成少量的训练集,下图为分类模型构建的流程图:

这里写图片描述

问题的扩展

自然语言问句可能的表述有简单也有复杂的,但总体上都是描述主语与宾语的关系,而图是一个能够通过边来描述结点与结点之间关系的模型。语序图是一个有向图,是一个通过谓语作为连接、由主语指向宾语的有向图。将每个主语或宾语看作是一个实体,将谓语看作是属性关系。以下面的问句为例:

问句:但丁密码中饰演罗伯特兰登的人是谁?

转化为对应的语序图如下:

这里写图片描述

由于自然语言中经常出现表达不完整的情况,为了对问题的扩张而抽取出完整的语序图,我们构建了一系列的问题模板,通过分类器的标注,确定问题的意图,并映射对应的问题模板,在模板中形成对应的语序图。问题模板如下表所示:

这里写图片描述

答案的生成

答案生成的过程主要是将语序图转化为 Neo4j 的查询语句,然后在数据库中进行查询。但由于查询语言中键值查询是准确匹配的,而用户输入往往是模糊查询的。因此,本系统主要利用计算查询词与检索词之间的莱文斯坦相似度来完成链接对齐的工作。

实现的效果图:

这里写图片描述

后记

具体实现的流程,我放置我的github上:

参考的文献主要有:

[1]贺樑.基于中文知识图谱的电商领域问答算法设计与系统实现[D].华东师范大学.2016.

[2]朱敏.面向多领域大规模知识库的自然语言自动问答研究[D].西南交通大学.2015.

[4]宗成庆.统计自然语言处理[M].清华大学出版社.2008

[3]Holden Karau,Andy Konwinski[著],王道远[译].Spark 快速大数据分析[M].人民邮电出版

社.2015

标签:分类器
发表评论
验证码: 点击我更换图片

注:网友评论仅供其表达个人看法,并不代表本站立场。

热门文章

  • 知识图谱完整项目实战(附源码)(3)
    知识图谱完整项目实战(附源码)(3)

    知识图谱完整项目实战(附源码)(3)

    本文是《知识图谱完整项目实战(附源码)》系列博文的第3篇:汽车知识图谱系统架构设计,主要介绍汽车领域知识图谱系统的总体架构设计和关键技术。...

  • 为电商而生的知识图谱,如何感应用户需
    为电商而生的知识图谱,如何感应用户需

    为电商而生的知识图谱,如何感应用户需

    如何建设一个比较通用的面向应用的概念体系,支持根据业务需求提供查询服务,已经迫在眉睫。mining流程后持续扩大挖掘覆盖),目前数据已经作为类目预...

  • 2020年国内十大生鲜电商平台排名!
    2020年国内十大生鲜电商平台排名!

    2020年国内十大生鲜电商平台排名!

    目前除了我们熟知的天猫生鲜、京东生鲜等生鲜平台,还有哪些生鲜电商o2o平台呢?接下来我们就一起来看看2020年十大生鲜电商平台有哪些!每日一淘是一个...

  • 阿里知识图谱首次曝光:每天千万级拦截
    阿里知识图谱首次曝光:每天千万级拦截

    阿里知识图谱首次曝光:每天千万级拦截

    阿里妹导读:借助阿里知识图谱的建设,阿里电商平台管控从过去的“巡检”模式升级为发布端实时逐一检查。在海量的商品发布量的挑战下,最大可能地...

  • 互联网+生鲜电商解决方案 生鲜电商O2O解
    互联网+生鲜电商解决方案 生鲜电商O2O解

    互联网+生鲜电商解决方案 生鲜电商O2O解

    生鲜电商O2O解决方案(38页珍藏版)》请在人人文库网上搜索。度上限制了生鲜电商的发展。方的农业生鲜交易平台存在小、弱格局。、配送企业、线下门...

人物

更多 >
人物马云:区块链不是泡沫
人物李彦宏:百度有自己的价值观 未来“AI战
人物吴欣鸿:美图秀秀下一个十年发力图片社
人物最贵的离职:陆奇带走了百度900亿市值
人物刘强东代言上瘾,这次为核桃代言

专题

更多 >
广告位