电商信息资讯,更全更新信息实报!
主页 > 知识 > > 正文

大厂知识图谱系统实现之1-阿里电商认知图谱

来源:网络整理 发布时间:2021-08-04 05:01 标签:阿里大数据
浏览:

1.大厂知识图谱实现

1.1 阿里电商知识图谱

原文:为电商而生的知识图谱,如何感应用户需求? @阿里技术

本文为基于上述原文的个人分析总结,或许有误解及片面认识,仅供参考。

2017.6启动

谷歌知识图谱_谷歌 知识图谱_电商 知识图谱

面对的问题及解决方案:

复杂场景的数据结构化:针对阿里电商数据的场景,其语料为非结构化数据,且非传统文本,集中在query,title,评论,攻略等,其首先要做的是数据清洗,通过频次过滤、规则和统计分析把脏数据去掉,然后通过短语挖掘,信息抽取等方法把高可用的数据抓取出来,进行数据的结构化和层次划分。

分散数据的统一表示框架:面对集团数据多模态多源多应用管理分散的数据,其首先定义一个全局的schema表示和存储方法,然后基于schema进行概念数据的融合,属性的挖掘和发现,在数据关联上有可能要通过各种表示学习的方法来完成。这部分相当于数据治理的平台,主要负责数据的表示与融合及属性与关系的推理完善。

数据深度认知:深度认知包含两个方面,一个是数据本身的认知,一个是数据关联的认知,通过行为和商品本身的信息可以认知到用户购买商品的意图电商 知识图谱,通过外部数据的输入和摘要会得到常识类和商品体系之外的用户需求的关联。按原文的表述,这部分的能力尚在完善中,按第一印象很多表象与意图的关联还是从数据摘要挖掘甚至标注而来。

谷歌 知识图谱_电商 知识图谱_谷歌知识图谱

软件系统:

阿里为解决如上问题构建了电商认知图谱(E-commerce ConceptNet),这实际是一个领域知识图谱DKG。其将电商领域中的概念实体分为人/场景/商品三大类并建立关联,此处的场景指购物场景,例如户外烧烤,如某项运动,如母婴玩具,如学生开学等,商品在原文中指的是类目和品类,我这里统一用商品代替了。

阿里电商认知图谱的构建主要包括了场景图谱,品类细化及商品图谱的构建。

场景可以理解为是用户需求的概念化,是一种对用户需求的归纳总结,系统通过用户的查询及商品标题的分析,泛化出用户的购物场景概念并不断细化,场景中不但包括概念(点)还包括概念与产品及类目的关系(边),概念与概念的关系等。概念的发现通过分析用户的查询词,通过流行度、语义独立完整一致性等进行知识挖掘,经人工审核,算法校验,知识融合等校验手段,并进一步的经词频、词性等语法分析的特征提取过程得到能准确表达的有代表性意义的概念。

电商 知识图谱_谷歌知识图谱_谷歌 知识图谱

系统进而根据用户的点击购买评论等行为及其他专用或通用知识识别概念与商品及品类的关系。

对于上述关系发现得到的关系进行关系的认知及构建,通过聚类/点击聚合/用户聚合等得到相似关系,通过搜索行为购买历史向量距离得到场景及商品的上下位词。

进一步通过关系抽取及关系分类得到可解释可推理高质量的知识网。

电商 知识图谱_谷歌知识图谱_谷歌 知识图谱

品类细化暂时感觉没多大关系,不展开。

商品图谱的构建主要目的是挖掘商品的更多属性,扩大对商品的认知,这个通过短语挖掘来实现。

将知识与商品建立关联的技术是商品打标,其主要数据来源即是前述的商品图谱的短语挖掘。通过商品打标电商 知识图谱,清晰的描绘出了商品属性及适用场景、商品间关联等,对用户的搜索推荐将会提供更有效智能的展示。

平台技术框架:

谷歌 知识图谱_电商 知识图谱_谷歌知识图谱

看其平台的技术框架,从下到上依次为数据层,基础层,知识层及应用层,这也依次体现了数据->信息->知识->智慧的流动过程,基础层的内容同大部分知识图谱项目一样都是基于NLP的操作,知识层则包括了前述的商品/用户/场景三个知识图谱及针对其上的存储可视化推理等操作

所有的构建过程都是循环迭代更新的过程,以便接纳不断更新的新数据。

1.2 美团大脑知识图谱实现

to be continued

发表评论
验证码: 点击我更换图片

注:网友评论仅供其表达个人看法,并不代表本站立场。

近期活动

更多 >

热门文章

  • 为电商而生的知识图谱,如何感应用户需
    为电商而生的知识图谱,如何感应用户需

    为电商而生的知识图谱,如何感应用户需

    如何建设一个比较通用的面向应用的概念体系,支持根据业务需求提供查询服务,已经迫在眉睫。mining流程后持续扩大挖掘覆盖),目前数据已经作为类目预...

  • 2020年国内十大生鲜电商平台排名!
    2020年国内十大生鲜电商平台排名!

    2020年国内十大生鲜电商平台排名!

    目前除了我们熟知的天猫生鲜、京东生鲜等生鲜平台,还有哪些生鲜电商o2o平台呢?接下来我们就一起来看看2020年十大生鲜电商平台有哪些!每日一淘是一个...

  • 互联网+生鲜电商解决方案 生鲜电商O2O解
    互联网+生鲜电商解决方案 生鲜电商O2O解

    互联网+生鲜电商解决方案 生鲜电商O2O解

    生鲜电商O2O解决方案(38页珍藏版)》请在人人文库网上搜索。度上限制了生鲜电商的发展。方的农业生鲜交易平台存在小、弱格局。、配送企业、线下门...

  • 基于中文知识图谱的电商领域问答系统
    基于中文知识图谱的电商领域问答系统

    基于中文知识图谱的电商领域问答系统

    实验结果表明,该系统在电商领域问答应用中具有较高的准确率和实用价值。语义理解和后端知识图谱构建。这类系统需要构建领域内的知识库词高于直接...

  • 产品经理视觉——初识知识图谱(一)
    产品经理视觉——初识知识图谱(一)

    产品经理视觉——初识知识图谱(一)

    二、知识图谱有哪些应用场景?@我偏笑:当用户发起搜索时,搜索引擎会借助知识图谱的帮助对用户查询的关键词进行解析和推理,进而将其映射到知识图...

人物

更多 >
人物马云:区块链不是泡沫
人物李彦宏:百度有自己的价值观 未来“AI战
人物吴欣鸿:美图秀秀下一个十年发力图片社
人物最贵的离职:陆奇带走了百度900亿市值
人物刘强东代言上瘾,这次为核桃代言

专题

更多 >
广告位