商业大数据分析平台解决方案
商业大数据分析平台
解决方案
目录
1. 背景概述 (5)
2. 现状分析 (6)
2.1.主流BI 模式 (6)
2.1.1. 传统BI 模式 6
2.1.2. 敏捷BI 模式7
2.2.平台推荐模式 (8)
3. 整体需求................................................................................................1..0.....
3.1. 数据源支持..................................................................................1..0....
3.2. 自助式查询..................................................................................1..0....
3.3. OLAP 联机分析...........................................................................1..1...
3.4. UI 编排功能.................................................................................1...2...
3.5. 丰富的组件..................................................................................1..3....
3.6. 多种展示方式...............................................................................1..3...
3.7. 外部数据服务...............................................................................1..
4...
4. 总体设计................................................................................................1..
5.....
1
4.1. 数据分析......................................................................................1..6....
4.2. 设计运行......................................................................................1..6....
4.3. 系统管理......................................................................................1..6....
4.4. 可视化展示..................................................................................1..6....
5. 功能设计................................................................................................1..7.....
5.1. 数据分析......................................................................................1..7....
5.1.1. 多数据源................................................................................1..7...
5.1.2. 数据建模................................................................................1..8...
5.1.3. 多维BI 分析..........................................................................1..8...
5.2. 设计运行......................................................................................2..0....
5.2.1. UI 编排..................................................................................2...0...
5.2.2. 丰富组件................................................................................2..1...
5.2.3. 事件引擎................................................................................2..4...
5.2.4. 运行引擎................................................................................2..4...
5.3. 系统管理......................................................................................2..
6....
5.3.1. 我的报表................................................................................2..
6...
2
5.3.2. 工程化管理............................................................................2..7...
5.3.3. 主题管理................................................................................2..7...
5.3.4. 布局管理................................................................................2..7...
5.3.5. 数据源管理............................................................................2..7...
5.3.
6. 基础管理................................................................................2..8...
5.4. 可视化展示..................................................................................2..9....
5.4.1. 决策仪表盘............................................................................2..9...
5.4.2. 大屏综合显示.......................................................................3..0...
5.4.3. 交互式WEB 界面................................................................3...0..
5.4.4. 基于GIS 的数据可视............................... 3..3..
5.5. 其他功能......................................................................................3..7....
5.5.1. 数据探索................................................................................3..7...
5.5.2. 事件定义................................................................................3..8...
5.5.3. 项目管理................................................................................3..9...
5.5.4. 基础管理................................................................................3..9...
5.5.5. 安全管理................................................................................3..9...
3
5.5.
6. 部署与集成............................................................................3..9...
4
1. 背景概述
当前,我们的世界已经迈入大数据(Big Data )时代,随着互联网、物联网、云计算等信息技术的迅猛发展,信息技术与人类世界、经济、军事、科研、生活
等方面不断交叉融合,催生了超越以往任何年代的巨量数据。数据正在变得无处不在、触手可及,数据的背后隐藏着信息,而信息之中蕴含着知识和智慧。
而数据创造的真正价值,在于我们能否提供进一步的稀缺的附加服务,
就是数据分析。数据的分析过程往往离不开机器和人的相互协作与优势互补。从这一立足点出发,大数据分析的理论和方法研究可以从两个维度展开:一是从机器或计算机的角度出发,强调机器的计算能力和人工智能,以各种高性能处理算法、智能搜索与挖掘算法等为主要研究内容,例如基于Hadoop 和MapReduce/Spark 框架的大数据处理方法以及各类面向大数据的机器学习和
数据挖掘方法等,这也是目前大数据分析领域的研究主流;另一个维度从人作为分析主体和需求主体的角度出发,强调基于人机交互的、符合人的认知规律的分
析方法,意图将人所具备的、机器并不擅长的认知能力融入分析过程中,这就是大数据可视化分析。
商业智能(Business Intelligence ,简称BI)是进行数据可视化分析的
5
一种重要手段。
2. 现状分析
2.1. 主流BI 模式
Gartner 的2016 BI 和分析平台魔力象限报告指出:当今数据分析向可视化设计UE、自助式探索分析、分析和展现一体化平台发展已经成为大势所趋。2016 年,传统的BI 厂商已经集体沦陷,全部被驱出了领导象限。
2.1.1.传统BI 模式
在对数据进行分析的过程中,传统BI 的做法是,IT 人员事先根据分析需求来进行建模(以及做二次表或打Cube ),提前汇总好数据,业务人员在前端查
看分析结果报表。分析过程如下所示。
6
这种做法很成熟,持续了很多年,但是也存在着一些问题:
1、业务人员查看的报表相对静态,分析的维度和度量的计算方式已在建模
时预先设定好,不能更改,比如定好了是求和或求平均数,想改成求方差必须回去修改模型。
2、分析需求变更时,业务人员不能直接调整报表,需要IT 人员重新建模或修改已有分析模型,耗时较长,响应速度较久。
2.1.2.敏捷BI 模式
随着技术的发展和演进,BI 领域已经迎来了新一代敏捷BI 的革新。基于大数据的处理技术,其对TB-PB 级的数据可实现秒级响应。敏捷BI 的数据展现是起点,而不是终点。看到了数据,能交互式分析,能深入向下挖掘,能发现问题
找到答案。
敏捷BI 的分析报告能让非IT 部门的同事直接在分析平台上做出来。不能把所有的分析报告需求都提交到IT 部门,这样会严重增加IT 部门的工作负担。敏捷BI 的实施和操作相比传统BI 都要来得更为简单,可以说是以业务人员为使用对象的BI,支持自助探索式分析。
分析报告需求经常需要数据层的改动,需要IT 部门去改进数据层和业务层,传统BI 平台需要一两个月去梳理模型。敏捷BI 无需事先建模,可在分析过程中灵活调整分析维度和报表展现,需求变更可以在一天之内响应,提升企业的洞察
7
力决策力。
与传统BI 的重量建模、统一视图不同,敏捷BI 采取轻量建模、N 个视图的方法,数据连进来直接可以进行分析,并且业务人员可以实时调整分析的维度和
度量的计算方式,极大增加灵活性,真正做到和数据对话。
2.2. 平台推荐模式
从前文可以看出,敏捷BI 以“快而有效”的方式解决了业务与技术长期的矛盾,为数据市场带来了新的活力,也引领了商业智能可视化分析的走向。但我们也要冷静思考:
■敏捷BI 和过去二十五年一样,无法替代Excel,这是为什么?
■大众化的敏捷BI 产品和过去二十五年一样,只能通过Ctrl+C/V 才能进入Word/PPT 当中,而这“交付的最后一步”却是每个领导真正才会看到的数据
分析!
■大众化的敏捷BI 产品还是基于表格和图表化的分析,似乎没有改变数据的堆砌,用户很难为其增加辅助性的说明文字,加入自己的观点!
■如果分析出报表之后,想要将这些BI 图表有机地结合起来,并形成一套完整的数据展示系统,难道还需要专门让IT 技术人员编写一套WEB 系统,将这些图表嵌入到这个系统中去?
8
■大众化的敏捷BI 产品即使具备报告/WEB 页面的发布能力,但这些报告发布之后都是一些静态页面,无法让最终使用者(业务人员或者领导)再次进行动态分析。比如:根据不同查询条件进行分析、动态切换维度和指标。
■大众化的敏捷BI 产品不能与外部系统进行交互,他们发布的报表是独立存在的。这样就导致无法与外部业务系统有效地结合,从而让分析者、查看者有整体的感知,并不能根据外部系统的参数进行动态分析。
所以,我们的数据分析平台应该在基于“业务主导的自服务模式
(Business-User-Driven )”的敏捷BI 基础上,增加了高级UI 页面编排的功能。在进行可视化设计UE 分析的同时,也能设计出一套完整的WEB 数据展现系统,体现了“分析和展现一体化”。
9
3. 整体需求
3.1. 数据源支持
支持大多数源系统,只对数据进行抽取和呈现,不对数据进行任何操作。支持结构化、非结构化、API 接口的方式作为数据源进行数据管理,结构化数据库
支持关系型数据库,非结构化数据支持nosql 相关数据库,API 接口支持soap 、rest 等方式。
3.2. 自助式查询
对于清单数据的查询,用户可以直接通过即席查询设计界面,在可视化界面中以拖拽式的构建查询,无需编写SQL 语句,直接查询出数据平台的数据。即席查询应满足业务人员自助式的、零编程的、快速定制的查询需求。
提供各种快速和高级查询功能,满足如下要求:
支持通过拖拽式的可视化查询外,还可以通过向导式查询,提供向导界面,
通过选择查询字段、查询条件,快速完成数据查询过程,让每个业务用户都
可以自己动手创建查询分析。
支持用户对即席查询的结果进行灵活的排序、过滤、分组、小计、合计、告
10
警等高级功能,并选择要展现的方式,如表格、柱图、趋势图等。
通过在界面上选择查询条件,可以快速的进行数据过滤,查看所需的数据。
查询条件支持多种方式:文本框输入,下拉框、下拉树、弹出对话框方式,
支持单选及复选的方式,日期控件方式,满足不同用户的查询需要。
3.3. OLAP 联机分析
具备多维度的联机分析功能,用于展示重要业务指标的统计数字和分析比
较。基于多维分析技术,使内外部的决策者和知识工作者访问关键数据,可以从任意角度探察和分析任何形式组合的数据,快速识别使用其它分析方式无法发现的影响环境的因素,从而提高工作效率。
具备大数据可视化分析,从各个维度对数据进行分析,具备如下功能:
用户可以基于多维模型实现任意的切片、旋转、钻取等操作,更可实现自定
义指标、统计分析等操作;
从宏观到微观的信息洞察。支持在多维模型上实现钻取操作,可以在多维报
表之间进行关联分析,更可从多维报表钻取到明细报表,以发现问题背后的
根源;
预定制的分析报表过于死板,业务问题经常需要多个角度的交互分析,需要
运用多维分析技术来解决;
11