您现在的位置是: > IT > 软件 > LinkedIn开源数据挖掘软件WhereHow,yiqiyoukanliuxingyu

LinkedIn开源数据挖掘软件WhereHow,yiqiyoukanliuxingyu

时间:2016-03-18 15:48??来源:今天新闻网整理??阅读次数: 复制分享 我要评论

LinkedIn开源数据挖掘软件WhereHow,yiqiyoukanliuxingyu

商业社交网站 LinkedIn 宣布,将旗下数据挖掘软件 WhereHows 开源,,从各资料来源收集数据,作为整合数据的储存库,主要用于企业资讯分析,未来计划整合其他资料工具,如Kafka、Samza、Gobblin、Nuage等。现在已放于 GitHub 上。

LinkedIn 表示 WhereHows 是整合所有 LinkedIn 的资料处理环境,并且从中萃取 Metadata,并加以管理,,主要用于挖掘企业资讯。

WhereHows从各种资料来源收集数据,并且标准化和模型化这些 Metadata,以及作为一种整合 Metadata 的储存库(Repository),用于多种分析目的。

LinkedIn表示,WhereHows 已经获取5万个资料集的状态、1.4万个评论和3.5千万个工作实行和关联性资讯,而这些资料分别储存在 Hadoop、Teradata 或其他丛集,且佔了超过 15PB 的储存空间。

WhereHows 提供开发者从 API 或 Web 应用程序存取资料,其中API提供其他资料处理和应用程序的自动化,而 Web 应用程序则提供搜寻、视觉化资料集间的关系、註解、讨论、社群参与等功能。

LinkedIn开源数据挖掘软件WhereHow,yiqiyoukanliuxingyu

WhereHows 完整架构图

而 WhereHows 主要由资料储存库、Web 服务器和后端服务器所组成,其中资料储存库用来储存所有 Metadata 内容,Web 服务器则是透过 UI 和 API 来呈现资料,,另外,后端服务器则会定期从其他系统抓取 Metadata。

网站地图 Website Map

 
本站部分文章新闻来源于网络,如无意中对您的利益构成了侵犯,我们深表歉意,请来电告知,我们会立即删除。
今天新闻网版权所有,未经书面授权禁止使用!Copyright © 2015-2016  www.ythaite.com
主办单位:今天新闻网  ICP备案号:鲁ICP备09074049号-1 sitemap 网站地图