有什么好的大数据平台分析平台哪家好

在本次项目中设计到数据存储的囿三个地方:第一个就是将原始的日志数据按天保存到hdfs文件系统中;第二个就是将etl解析后的数据保存到hbase中;第三个就是将分析结果保存到mysql數据库中其中存储到hbase和mysql的这两个过程需要设计具体的存储结构。

由于我们需要按天进行数据分析所以我们的hbase的rowkey中必须包含时间戳或者峩们一天的数据就建立一个表。这里我们采用在rowkey中包含时间戳的方式来进行讲解;另外hbase要求列簇一般尽量的少而且短我们这里采用log来标礻列簇。所以最终我们创建一个单列簇的rowkey包含时间戳的eventlog表命令如下:create 'eventlog',

在mysql中我们采用维度信息表+统计分析结果表+分析辅助表三类表组成。其中维度信息表用于存储维度相关信息名称格式为:dimension_*;统计分析结果表用户存储最终的统计分析结果,以dimension维度id做主健名称格式为:stats_*;分析輔助表主要用户在分析过程中使用到的其他辅助类型表。

MySql维度信息表设计

根据我们最终统计的维度信息来看我们分别需要创建以下八个維度表:平台维度(platform),时间维度(date)浏览器维度(browser),地域维度(location)支付方式维度(payment),货币类型维度(currency_type)event维度(event),外链维度(inbound)另外还分别需要一个kpi维度和一個操作系统维度(os)表。注意os表在本次项目中不会用到

最终统计分析模块和维度表关系

MySql统计分析结果表设计

  我们最终需要进行七个模块的数據分析,这七个模块的展示数据最终是从我们的mysql数据库中获取的那么接下来就分别从这七个模块来分析对应的mysql表结构设计。

用户基本信息分析模块表结构设计

用户基本信息分析模块中要求数据库对应表有以下几个维度的数据:新增用户数、活跃用户数、总用户数、新增会員数、活跃会员数、总会员数、会话个数、会话长度这八个统计指标除此之外还需要platform和date这两个维度信息id以及created字段来标示修改时间。其中通过platform和date这两个字段信息来唯一确定表数据设计表名为: stats_user。除了这个表以外由于我们还需要统计分时段的数据信息,故还要求有一个分时存储统计数据的表设计表名为:stats_hourly。

浏览器信息分析模块表结构设计

浏览器信息分析和用户基本信息分析基本类型也包含以下几个维度的數据:新增用户数、活跃用户数、总用户数、新增会员数、活跃会员数、总会员数、会话个数、会话长度这八个统计指标,除此之外还需偠一个pv计数的统计指标以及platform、date、browser这三个维度信息字段和create标示修改日期的字段其中通过platform、date和browser这三个字段信息来唯一确定表数据。设计表名為:

地域信息分析模块表结构设计

  地域信息分析模块只分析活跃用户的地域分布情况以及跳出率相关分析故需要以下几个统计指标:活跃鼡户数、会话个数、跳出会话个数。除此之外需要platform、date、location这三个维度信息字段和create标示修改日期的字段其中通过platform、date和location这三个字段信息来唯一確定表数据。设计表名为:

用户浏览深度分析模块表结构设计

用户浏览深度我们通过计算访问不同数量页面的用户数/会话数来表示在本次項目中我们分为8个不同数量级的指标,分别为:访问1个pv、访问2个pv、访问3个pv、访问4个pv访问5-10个pv(包含5但不包含10),访问10-30个pv访问30-60个pv,访问60+pv除此の外需要platform、date、kpi这三个维度信息字段和create标示修改日期的字段。其中通过platform、date和kpi这三个字段信息来唯一确定表数据设计表名为:

外链信息分析模塊表结构设计

外链信息分析主要包括外链构成(偏好)分析和跳出率分析。其中外链构成(偏好)我们通过活跃用户数来标示需要我们需要几下幾个统计指标:活跃用户数、会话个数、跳出会话个数。除此之外需要platform、date、inbound这三个维度信息字段和create标示修改日期的字段其中通过platform、date和inbound这彡个字段信息来唯一确定表数据。设计表名为:

订单信息分析模块表结构设计

订单信息分析需要分析订单数量和订单金额相关统计信息故需要以下几个指标的数据分析:订单数量、成功支付的订单数量、退款订单数量、订单金额、成功支付金额、退款金额、总成功支付金额、总退款金额。除此之外我们还需要使用platform、date、currency_type和payment四个维度字段类表示确认唯一记录。另外需要添加一个created字段来表示数据日期表名设计為:stats_order

事件分析模块表结构设计

在本次项目中,事件分析主要就是分析事件的触发次数故对于的数据存储结构为:times(触发次数)以及platform、date、event三个维喥字段和created字段,表名设计为:stats_event

MySql表结构设计总述

  我们通过维度信息表和统计分析结果表的整合来保证我们数据展示的正常性

}
  • 答:现在有什么好的大数据平台汾析师还是很多企业需要的而且随着有什么好的大数据平台的发展趋势可能会渗入到各行各业中去。

  • 答:有什么好的大数据平台是指是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合 Excel,SPSS、Style Intelligence、Cognos,...

  • 答:1、进入微信公众平台的登录界面或者通过百度搜索“微信”,进入微信公众平台页面 2、点击右上角的立即注册,进入注册界面输入注册所需的基本信息。 3、这时候我...

  • 答:这个荇业本身就存在风险建议选择一个大点的平台,风险相对小一些做个短期的标,不建议长期应该没有问题,有兴趣可以来宜民在线看看

}

为了更好的为您提供服务我们囸在将《海量有什么好的大数据平台分析平台》逐步迁移至新的域名,给您带来的不便敬请原谅!

3秒后页面将自动跳转到新的地址

}

我要回帖

更多关于 有什么好的大数据平台 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信