自下而上的数据仓库构建方法

自下而上的数据仓库构建方法

童小军（XiaoJun Tong ）

————

思考数据统计系统的需求/本源————

寻找一种简易统计分析思路————

尝试一种统计的简单实现和应用

童小军 （XiaoJun Tong）

?2006 来北京从事搜索引擎研发工作 [思考搜索的智能?]?2007 ～2008 在 FeedSky 从事博客搜索研发 (Web2.0)?2008 ～至今北京暴风网际搜索研发主管

?2010 ～2012 对外经济贸易大学 UIBE

–国际商学院企业管理研究生[在读]

微博:https://www.wendangku.net/doc/c05178189.html,/tongxiaojun

MSN :tongxiaojun@https://www.wendangku.net/doc/c05178189.html,

[暴风搜索] 数据平台发展几个阶段

?2008 rsync ,log文件, java分析, jsp 程序

?2009 BI,数据仓库,syslog-ng,perl/python

?2010 [4w + r = 3h],闭环反馈,数据决策,报表驱动

?2011 管理会计,内部成本/收益核算[PV/$],ISO9001,PMI [OPM3]

熟度

[思考]数据统计需求和本源?

需求/本源 ?[思考] 数据统计,分析的需求/本源?

使用 列举类推法 思考

[思考] 需求/本源 [举例:组织结构]

[思考] 需求/本源 [举例: 质量优化]

[思考] 需求/本源 [举例: 工业控制]

[思考] 组织项目管理成熟度模型

?OPM3模型第1维 成熟度的4个梯级分别是： –标准化的 (Standardizing)

–可测量的 (Measuring)

–可控制的 (Controlling)

–持续改进的 (Continuously Improving)

[思考] 需求/本源 [简易的智能结构]

需求/本源 => 智能/结构

商业智能[BI]

性能指标: 反馈周期? 决策有效性? 反馈成本?

数据统计/分析 是自动控制系统和自学习,自调整系统的核心组成部分。

[数据构建方法 ] 什么是自下而上?

?[需求] --> [展现] --> [分析逻辑] --> [数据结构]?变化可能 -----> 越到底层越少

?修改成本 -----> 越到底层越高

[数据构建思路 ]

?[抽象分析] --> [总结归纳] --> [数据结构] --> [各类逻辑] --> [业务需求]

?保留全部可能性 --> 总结需求的组成基本变量 --> 总结固定逻辑和结构 --> 设计满足各类需求的系统

[构建策略] 自下而上,以不变应万变

==自下而上构建==

[Log 构建方法] 四个 构建策略

?1. 数据公式:[4w+r = 2h]

?2. 实时汇总:[js-->nginx+perl--> syslog-ng --> python/perl --> db]

?3. 存储格式:[一日一表]

?4. 统计方法:[2sql 方法]

?5. 图表展现:[模板引擎]

1. Log 数据公式:[4w+r = 2h]

?4W（who,when,where,what）+R(result) = 3H（why? how? win?）

log 统计:

?who = (uid,uname) 用户维度

?when = [time,last_time,log_time] 时间维度

?where = (url/from_url,version,host,uip,system) 空间维度?what = (click/search[ keyword,order filed])) 场景维度?result = (time,count,iscached) 结果维度

= 3H（why how win）为何? 怎么办? 如何赢?

2. 实时汇总:[js+nginx+syslog-ng+perl]?流程: js-->nginx+perl--> syslog-ng --> python/perl --> db

?JS[flash]: 收集用户前端的感受

?nginx + 嵌入perl 模块: 并发和并能?syslog-ng: log{ source(s_local); filter(f_cache);

destination(d_cache_file);destination(d_cache_py);};?db: mysql : MyISAM [列式数据库: infobright] (够用就行)

3. 存储格式:[一日一表]

? 1. 一日一个表结构,每日凌晨压缩

? 2. 表结构 [Mysql MyISAM ]

? 3. 少量索引

? 4. 压缩工具: myisampack 压缩 40% - 50% [自读]? 5. 举例: search_log_20101011 click_log_20101011

4. 统计方法:[2sql 方法]

?[2sql 方法[大部分满足分析需求] + 程序(小部分)]

?数据仓库 --> sql --> 数据集市 -->sql --> 展现结果 [满足大部分的分析需求]?sqltask 分析工具原理。log库 --> 统计库 [配置可以在sql 客户端直接调试]

DEMO:

#desc: 搜索行为次数,实际无结果,实际无结果率[相对,绝对] 搜索无结果次数/搜索行为次数

#source:127.0.0.1:3306:user_action

#market:127.0.0.1:3306:user_analysis

#{search_result}{mode:varchar(255),count:int(11),qj_rate:float,rate:float,day:int(8),update_time:bigint(20)}

select

result_type as mode,

count(search_log_id) as count,

count(search_log_id)*100/(select count(search_log_id) from log_search_#day where 1 and result_count='0' ) as rate, count(search_log_id)*100/(select count(search_log_id) from log_search_#day where 1 and search_begin=1) as qj_rate,

'#day' as day, UNIX_TIMESTAMP(now())*1000 as update_time

from log_search_#day

where 1 and result_count='0' and search_begin=1 group by mode order by count desc;";

4. 图表展现:[模板引擎]

1. 定义数据源

2. 定义查询语句和变化字段

3. 定义展现配置

DEMO:

#desc: 搜索行为次数,实际无结果,实际无结果率[相对,绝对] 搜索无结果次数/搜索行为次数#source:127.0.0.1:3306:user_action

#input:#start_day #end_day

#X:day Y:count Type:line

#{搜索行为}{mode:类型,count:搜索,qj_rate:绝对无结果,rate:比例,day:天,update_time:更新时间} select mode,count,qj_rate,rate,day,update_time

from search_result

where 1 and day>=#start_day day<=#end_day order by day desc;";

[发展经历] 暴风搜索数据两个阶段

第一阶段:

js --> php --> log [n] --> rsync --> log.tar.gz -> 分析程序[分析逻辑] --> 数据库 -->数据展现 [java]

第二阶段: [业务知识和行业同步]

js --> [nginx + perl] --> syslog-ng --> search_log 入库程序 --> 数据仓库 -->[sql] sql_task程序 --> 数据集市 -->[sql] 展现 [python[邮件]/.net[桌面]]

python 报表邮件实现

?数据集市[db] --> python --> data.file --> gnuplot + 绘图配置 --> img + data --> mail

?gnuplot 帮助: https://www.wendangku.net/doc/c05178189.html,/dsectest/dsec_cn/gnuplot/

数据仓库建设的几点建议.doc

北京甲骨文软件有限公司咨询经理鲁百年博士 一、国内信息化的现状 1、信息化建设的发展历史：在国内信息化建设过程中，基本上是按照当时业务系统的需求进行建设，例如：在一个企业中，财务部门为了减少工资发放的差错，提高发放的效率，先建设一个工资发放和管理程序；为了报账和核对的需求，建设一个财务管理程序；在银行首先为了业务处理的方便，将最基本的手工记帐和处理的业务建成一个系统，过一段时间，如果有新的业务推出，就再建设一个新的系统，或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。 2、为何要建立数据仓库：前面我们讲过，业务系统各自为政，相互独立。当很多业务系统建立后，由于领导的要求和决策的需求，需要一些指标的分析，在相应的业务系统基础上再增加分析和相应的报表功能，这样每个系统就增加了报表和分析功能。但是，由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题，Bell Inman提出了数据仓库的概念，其目的是为了分析和决策的需要，将相互分离的业务系统的数据源整合在一起，可以为领导和决策层提供分析和辅助决策。 3、国内企业对数据仓库建设认识的误区： 大家对数据仓库的认识是将业务系统的数据进行数据抽取、迁移和加载（ETL），将这些数据进行整合存放在一起，统一管理，需要什么样的分析就可提供什么样的分析，这就是数据仓库。这样做的结果是花了一年到两年的时间都无法将整个企业业务系统的数据整合在一起，花钱多、见效慢、风险大。一年后领导问起数据仓库项目时，回答往往是资金不足，人力不够，再投入一些资源、或者再延长半年的时间就会见到效果，但是往往半年过后还是仅仅可以看到十几张或者几十张报表。领导不满意，项目负责人压力也很大，无法交待。这时，项目经理或者项目负责人才意识到，项目有问题，但是谁也不敢说项目有问题，因为这样显然是自己当时的决策失误。怎么办？寻找咨询公司或者一些大的厂商，答案往往是数据仓库缺乏数据模型，应该考虑数据模型。如果建设时考虑到整个企业的数据模型，就可以建设成企业级的数据仓库（EDW。什么是数据模型，就是满足整 个企业分析要求的所有数据源。结果会如何，我个人认为：这样做企业级数据仓

数据仓库实例

计算机
王莹

本例采用的是SQl Server2005所提供的商业智能服务和工 具，主要包括Analysis Services(分析服务)， Integration Services(集成服务),Reporting Services(集成服务)和Bussiness Intelligence Developer Studio(BIDS)。

分析服务(Analysis Services) SQL Server 分析服务（SSAS）是一个用于分析数据仓库中数据的工 具，它包括了OLAP和数据挖掘工具。在SQL Server 2005数据库系统 中，Analysis Services工具以服务器的方式为用户提供管理多维数 据立方体的服务。Analysis Services可以把数据仓库中的数据组织 起来，经过预先的聚集运算，加入到多维立方体中（即建立立方 体），然后对复杂的分析型访问做出迅速的回答。

集成服务(Integration Services) SQL Server 集成服务（SSIS）被定位成一个能生成高性能数据集成解决 方案(包括数据仓库中数据的提取、转换和加载（ETL））的平台。其集 成的含义主要就是指把ETL集成在一起。SSIS通过一个统一的环境向用户 提供了数据转换服务（DTS）所能提供的所有功能，并且大大减少了用户 花在编写程序和脚本上的精力和时间。 SSIS的基本功能包括：
? ? ? ? ? ? 合并来自异类数据源中的数据 填充数据仓库和数据集市 整理数据和将数据标准化 精确和模糊的查找功能 将商业智能置入数据转换过程 使管理功能和数据加载自动化

(完整word版)建设数据仓库的八个步骤

大数据技术部 建设数据仓库的八个步骤2017年04月25日编制

建设数据仓库的八个步骤 摘要： 建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题。 关键词：数据仓库元数据 建设数据仓库 建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题，从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成，双方需要相互沟通，协作开发数据仓库。 开发数据仓库的过程包括以下几个步骤。 1.系统分析，确定主题 建立数据仓库的第一个步骤就是通过与业务部门的充分交流，了解建立数据仓库所要解决的问题的真正含义，确定各个主题下的查询分析要求。 业务人员往往会罗列出很多想解决的问题，信息部门的人员应该对这些问题进行分类汇总，确定数据仓库所实现的业务功能。一旦确定问题以后，信息部门的人员还需要确定一下几个因素： ·操作出现的频率，即业务部门每隔多长时间做一次查询分析。 ·在系统中需要保存多久的数据，是一年、两年还是五年、十年。 ·用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。 ·用户所能接受的响应时间是多长、是几秒钟，还是几小时。

由于双方在理解上的差异，确定问题和了解问题可能是一个需要多次往复的过程，信息部门的人员可能需要做一些原型演示给业务部门的人员看，以最终确定系统将要实现的功能确实是业务部门所需要的。 2.选择满足数据仓库系统要求的软件平台 在数据仓库所要解决的问题确定后，第二个步骤就是选择合适的软件平台，包括数据库、建模工具、分析工具等。这里有许多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准： ·厂商的背景和支持能力，能否提供全方位的技术支持和咨询服务。 ·数据库对大数据量（TB级）的支持能力。 ·数据库是否支持并行操作。 ·能否提供数据仓库的建模工具，是否支持对元数据的管理。 ·能否提供支持大数据量的数据加载、转换、传输工具（ETT）。 ·能否提供完整的决策支持工具集，满足数据仓库中各类用户的需要。 3.建立数据仓库的逻辑模型 具体步骤如下： （1）确定建立数据仓库逻辑模型的基本方法。 （2）基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。 （3）识别主题之间的关系。

浅谈煤矿安全管理数据仓库的构建与应用(通用版)

浅谈煤矿安全管理数据仓库的构建与应用(通用版) Safety is the prerequisite for enterprise production, and production is the guarantee of efficiency. Pay attention to safety at all times. ( 安全论文) 单位：_______________________ 部门：_______________________ 日期：_______________________ 本文档文字可以自由修改

浅谈煤矿安全管理数据仓库的构建与应用 (通用版) 摘要:改革开放以来，随着我国煤矿企业的发展以及计算机信息时代的到来，煤矿安全信息计算机管理越来越受到人们的重视。本文从加强煤矿信息管理建设的角度出发，在借鉴前人研究的基础上，结合当下煤矿安全生产的特点，通过对煤矿安全信息进行分析，提出了基于数据仓库模型的煤矿信息安全管理，同时还就数据仓库在企业中的应用进行了探讨。 关键词：煤矿安全信息管理；数据仓库；应用 一、数据仓库 1.1数据仓库的概念 数据仓库，英文名称为DataWarehouse，可简写为DW或

DWH。数据仓库是一种数据的战略集合,其目的是为企业所有级别的决策制定过程提供支持。应用数据仓库的最终目的是为企业提供需要业务智能来指导业务流程改进。 1.2数据仓库的特点 数据仓库并不是一般意义上的“大型数据库”，它是在数据库已经大量存在的前提下，为进一步挖掘数据资源、做出更好的而建立的。由于以有的数据库中的数据有较大的冗余，所以需要的存储也较大，为了更方便的为前端查询和分析，因而便想到数据仓库方案的建设。为了更好地为前端应用服务，数据仓库的特点一般具有以下几点： （1）效率高 对于大多数情况来说，利用数据仓库分析的数据一般分为日、周、月、季、年等。而其中以日为周期的数据所要求的效率最高，其要求24小时或者12小时内，客户能看到前一天的数据分析。由于有的企业每日的数据量很大，如果数据仓库的设计不好，数据仓库经常出问题，从而导致数据分析需要延迟1-3

数据仓库建设方案详细

第1章数据仓库建设 1.1数据仓库总体架构 专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。 根据专家系统数据仓库建设目标，结合系统数据业务规，包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下： 数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的容： 数据采集：负责从各业务自系统中汇集信息数据，系统支撑Kafka、Storm、Flume

及传统的ETL采集工具。 数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。 数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。 数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。 1.2数据采集 专家系统数据仓库数据采集包括两个部分容：外部数据汇集、部各层数据的提取与加载。外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层（ODS）；部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。 1.2.1外部数据汇集 专家数据仓库数据源包括列车监控与检测系统（TCMS）、车载子系统等相关子系统，数据采集的容分为实时数据采集和定时数据采集两大类，实时数据采集主要对于各项检测指标数据；非实时采集包括日检修数据等。 根据项目信息汇集要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。 本方案在数据采集架构采用Flume+Kafka+Storm的组合架构，采用Flume和ETL 工具作为Kafka的Producer，采用Storm作为Kafka的Consumer，Storm可实现对海量数据的实时处理，及时对问题指标进行预警。具体采集系统技术结构图如下:

建设数据仓库7个步骤

成功实施数据仓库项目的七个步骤 建立一个数据仓库并不是一个简单的任务，不应该由一个人单独完成。由于数据仓库最佳结合了业务惯例和信息系统技术，因此，一个成功的数据仓库实施需要这两方面的不断协调，以均衡其所有的需要，要求，任务和成果。我很乐意与大家分享我在规划和管理任何数据库项目时采用的方法，这些数据库包括交易数据库，数据仓库，和混合型数据库。由于我生活在关系数据库和数据仓库以及用以支撑它们的数据提取，转换和加载(ETL )过程中，所以我会集中在这些领域讨论我的方法。然而，您可以将这些方法扩展到整个栈--OLAP立方体和如报告，特征分析(ad-hoc analysis)，记分卡和仪表盘展示之类的信息传递应用。 我不是吃撑了要告诉一个真正的项目经理( PM )如何做他或她的工作，相反，我写的这些是为那些数据库管理员和开发者，他们没有好运气能与有经验的项目经理一起工作;同样也适合这样的IT专业人员，他们被突然要求：“建立一个数据仓库“，并且需要自己扮演项目经理的角色。我的讨论不会是完整的，但我希望这会给您足够的信息来让您的项目球滚起来。 如图1所示，数据仓库项目有3个轨道(tracks)：数据轨道，技术轨道和应用层轨道。当您在整理任何数据库项目计划时，我建议您以这三个轨道为模板来管理和同步您的活动。当您向技术决策者( TDMs ) ，商业决策者( BDMs ) ，和所有其他该数据仓库项目参与者讲解您的计划时，您也可以把图1当作一个高级的概要图来使用。 使用一种生命周期管理方法 我鼓励您利用您的组织可以提供的资源，比如设计，开发和部署系统和软件的技术和方法。如果贵公司对于这些工作没有采用任何正式的方法，继续前进吧，您可采用我为我自己的数据库项目开发的7D数据库生

数据仓库的构建和ETL课程设计.

Northwind数据仓库的构建和ETL 课程设计与实验报告

课程设计与实验教学目的与基本要求 数据仓库与知识工程课程设计与实验是学习数据仓库与知识工程的重要环节，通过课程设计与实验，可以使学生全面地了解和掌握数据仓库与知识工程课程的基本概念、原理及应用技术，使学生系统科学地受到分析问题和解决问题的训练，提高运用理论知识解决实际问题的能力。 使学生在后继课的学习中，能够利用数据仓库与数据挖掘技术及实践经验，解决相应的实际问题，并能在今后的学习和工作中，结合自己的专业知识，开发相应的数据仓库与数据挖掘应用程序。培养学生将已掌握的理论与实践开发相结合的能力，以及在应用方面的思维能力和实践动手能力。 课程设计与实验一数据仓库的构建和ETL （一）目的 1．理解数据库与数据仓库之间的区别与联系； 2．掌握数据仓库建立的基本方法及其相关工具的使用。 3．掌握ETL实现的基本方法及其相关工具的使用。 （二）内容 1. 以SQL Server为系统平台，设计、建立创建数据仓库NorthwindDW（根据课程设计内容）。 2. 将业务数据库Northwind的数据经过ETL导入（或加载）到数据仓库NorthwindDW。 3. 将数据仓库NorthwindDW事实表的前100个记录导出到Excel中。 （三）数据仓库设计要求 Northwind数据库存储了一个贸易公司的订单数据、产品数据、顾客数据、员工数据、供货商数据等，假设贸易公司的经营者迫切的需要准确地把握贸易公司经营情况，跟踪市场趋势，更加合理地制定商品采购、营销和奖励政策。具体的分析需求是： ●分析某商品在某地区的销售情况 ●分析某商品在某季度的销售情况 ●分析某年销售多少金额的产品给顾客 ●分析某员工的销售业绩 任务：确定主题域、确定系统（或主题）的边界。设计数据模型（星型模型）的事实表和维表。

数据仓库的构建

昆明理工大学信息工程与自动化学院学生实验报告 （2015—2016学年第1学期） 课程名称：数据仓库与数据挖掘开课实验室：444 2015年10月24日年级、专业、 班 计科121 学号姓名成绩 实验项目名称数据仓库的构建指导教师 教师评语该同学是否了解实验原理： A.了解□ B.基本了解□ C.不了解□ 该同学的实验能力： A.强□ B.中等□ C.差□ 该同学的实验是否达到要求： A.达到□ B.基本达到□ C.未达到□ 实验报告是否规范： A.规范□ B.基本规范□ C.不规范□ 实验过程是否详细记录： A.详细□ B.一般□ C.没有□ 教师签名： 年月日 一、上机目的及内容 目的： 1、理解数据库与数据仓库之间的区别与联系； 2、掌握典型的关系型数据库及其数据仓库系统的工作原理以及应用方法； 3、掌握数据仓库建立的基本方法及其相关工具的使用。 内容： 以SQL Server为系统平台，设计、建立数据库，并以此为基础创建数据仓库。 要求： 利用实验室和指导教师提供的实验软件，认真完成规定的实验项目，真实地记录实验中遇到的各种问题和解决的方法与过程，并绘出模拟实验案例的数据仓库模型。实验完成后，应根据实验情况写出实验报告。 二、实验原理及基本技术路线图（方框原理图或程序流程图） 数据仓库，由数据仓库之父W.H.Inmon于1990年提出，主要功能仍是将组织透过资讯系统之联机交易处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作一有系统的分析

整理，以利各种分析方法如线上分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。 三、所用仪器、材料（设备名称、型号、规格等或使用软件） 1台PC及Microsoft SQL Server套件 四、实验方法、步骤（或：程序代码或操作过程） --建立数据 USE master CREATE DATABASE [DW] ON PRIMARY ( NAME = N'DW', FILENAME = N'E:\DW.mdf' ) LOG ON ( NAME = N'DW_log', FILENAME = N'E:\DW_log.ldf' ) GO USE DW -------------------------------- --1、建维表 /*1.1 订单方式*/ CREATE TABLE DIM_ORDER_METHOD (ONLINEORDERFLAG INT,DSC VARCHAR(20)) /*1.2 销售人员及销售地区*/ CREATE TABLE DIM_SALEPERSON (SALESPERSONID INT, DSC VARCHAR(20), SALETERRITORY_DSC VARCHAR(50)) /*1.3 发货方式*/ CREATE TABLE DIM_SHIPMETHOD (SHIPMETHODID INT,DSC VARCHAR(20)) /*1.4 订单日期*/ CREATE TABLE DIM_DATE (TIME_CD VARCHAR(8), TIME_MONTH VARCHAR(6), TIME_YEAR VARCHAR(6), TINE_QUAUTER VARCHAR(8), TIME_WEEK VARCHAR(6), TIME_XUN VARCHAR(4)) /*1.5 客户*/ CREATE TABLE DIM_CUSTOMER (CUSTOMERID INT,

数据仓库建设步骤

数据仓库建设步骤 1.系统分析，确定主题 确定一下几个因素： 操作出现的频率，即业务部门每隔多长时间做一次查询分析。 在系统中需要保存多久的数据，是一年、两年还是五年、十年 用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。 用户所能接受的响应时间是多长、是几秒钟，还是几小时。 2.选择满足数据仓库系统要求的软件平台 选择合适的软件平台，包括数据库、建模工具、分析工具等。有许多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准： 厂商的背景和支持能力，能否提供全方位的技术支持和咨询服务。 数据库对大数据量（TB级）的支持能力。 数据库是否支持并行操作。 能否提供数据仓库的建模工具，是否支持对元数据的管理。 能否提供支持大数据量的数据加载、转换、传输工具（ETT）。 能否提供完整的决策支持工具集，满足数据仓库中各类用户的需要。 3.建立数据仓库的逻辑模型 具体步骤如下： 1)确定建立数据仓库逻辑模型的基本方法。 2)基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。 3)识别主题之间的关系。 4)分解多对多的关系。 5)用范式理论检验逻辑数据模型。 6)由用户审核逻辑数据模型。 4.逻辑数据模型转化为数据仓库数据模型 具体步骤如下： 1)删除非战略性数据：数据仓库模型中不需要包含逻辑数据模型中的全部数据项，某些用于操作 处理的数据项要删除。 2)增加时间主键：数据仓库中的数据一定是时间的快照，因此必须增加时间主键。 3)增加派生数据：对于用户经常需要分析的数据，或者为了提高性能，可以增加派生数据。

4)加入不同级别粒度的汇总数据：数据粒度代表数据细化程度，粒度越大，数据的汇总程度越高。 粒度是数据仓库设计的一个重要因素，它直接影响到驻留在数据仓库中的数据量和可以执行的 查询类型。显然，粒度级别越低，则支持的查询越多；反之，能支持的查询就有限。 5.数据仓库数据模型优化 数据仓库设计时，性能是一项主要考虑因素。在数据仓库建成后，也需要经常对其性能进行监控，并随着需求和数据量的变更进行调整。 优化数据仓库设计的主要方法是： 合并不同的数据表。 通过增加汇总表避免数据的动态汇总。 通过冗余字段减少表连接的数量，不要超过3~5个。 用ID代码而不是描述信息作为键值。 对数据表做分区。 6.数据清洗转换和传输 由于业务系统所使用的软硬件平台不同，编码方法不同，业务系统中的数据在加载到数据仓库之前，必须进行数据的清洗和转换，保证数据仓库中数据的一致性。 在设计数据仓库的数据加载方案时，必须考虑以下几项要求： 加载方案必须能够支持访问不同的数据库和文件系统。 数据的清洗、转换和传输必须满足时间要求，能够在规定的时间范围内完成。 支持各种转换方法，各种转换方法可以构成一个工作流。 支持增量加载，只把自上一次加载以来变化的数据加载到数据仓库。 7.开发数据仓库的分析应用 建立数据仓库的最终目的是为业务部门提供决策支持能力，必须为业务部门选择合适的工具实现其对数据仓库中的数据进行分析的要求。 信息部门所选择的开发工具必须能够： 满足用户的全部分析功能要求。数据仓库中的用户包括了企业中各个业务部门，他们的业务不同，要求的分析功能也不同。如有的用户只是简单的分析报表，有些用户则要求做预 测和趋势分析。 提供灵活的表现方式。分析的结果必须能够以直观、灵活的方式表现，支持复杂的图表。 使用方式上，可以是客户机/服务器方式，也可以是浏览器方式。 事实上，没有一种工具能够满足数据仓库的全部分析功能需求，一个完整的数据仓库系统的功能可能是由多种工具来实现，因此必须考虑多个工具之间的接口和集成性问题，对于用户来说，希望看到的是一致的界面。 8.数据仓库的管理

数据仓库构建技术

３１３ 二 ○一一年第三十三期 华章 Magnificent Writing 数据仓库构建技术 王萌 （南京晓庄学院，江苏南京210000） ［摘要］该文从数据仓库的定义着手，结合数据仓库的通用体系结构，总结、探究了普通数据仓库和空间数据仓 库的构建方法、模型及关键要点。 ［关键词］普通数据仓库；空间数据仓库；构建；数据模型随着不同的管理信息系统（MIS ）在企业不同部门的大规模 应用及企业对数据管理不断提出新的要求，不仅要求能实现传统的联机事务处理，而且越来越多的要求是各种应用系统能够在企业不断积累的以及从企业外部获取的丰富信息资源的基础上，把这些分散的、不一致的、凌乱的信息资源加以利用，即更多地参与数据分析和决策支持，由此出现了一种用于数据分析处理和决策支持的数据存储和组织技术，即数据仓库技术。 1、什么是数据仓库 数据仓库是面向主题的、集成的、具有时间特征的、稳定的数据集合，用以支持经营管理中的决策制定过程。数据仓库提供用户用于决策支持的当前和历史数据，这些数据在传统的操作型数据库中很难或不能得到。 面向主题是指数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。集成的是指数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。 数据仓库的体系结构分数据源、数据转换、数据仓库、数据集市和用户几部分。数据源，包括企业内部的业务数据、遗留数据、其它业务系统数据及相关WEB 数据等；数据转换是数据仓库构建的重要环节，主要是对各种复杂的数据源进行抽取、转换、装载及其他处理，同时要实现数据质量跟踪监控以及元数据抽取与创建等工作；数据仓库主要实现对各种数据的组织、存储及管理等；数据集市是为不同业务而单独设计的数据仓库系统，即开发者为企业内部的不同用户群定制特殊的数据仓库子系统。用户部分，即具体面向使用者的应用部分，主要是指数据仓库存取与检索为用户提供了访问数据仓库或数据集市的功能，其中分析与报告为用户使用数据仓库提供了一组工具，用于帮助用户对数据仓库或数据集市进行联机分析或数据挖掘等。 2、数据仓库构建方法 2.1普通数据仓库构建方法。对于普通数据仓库的构建，企业在对整个系统的建设综合各种因素的基础上，将整个项目的实施分阶段、分步骤实施，可以在每一阶段建设的基础上分阶段纳入不同的业务系统，逐步建立起一个综合的、专题较为完善的、适合部门、子单位使用的完整的数据仓库系统，从而才能使投资尽快获得收益。 在数据仓库的构建过程中，利用模糊数学可实现数据仓库内数据的语义表示，丰富数据加工的手段，提高分析处理的能力。数据仓库的构建，一般采取先构建数据集市，最后将各个数据集市整合在一起形成数据仓库的渐进模式；通过概念层、逻辑层、物理层建模，确定相关主题域的数据集市并对其进行联机分析处理。构建数据仓库模型一般采用以下几种： 2.1.1星型模型：星型模型是最常用的数据仓库设计结构的实现模式。使数据仓库形成了一个集成系统，为用户提供分析服务对象。该模型的核心是事实表，围绕事实表的是维度表。通过事实表将各种不同的维度表连接起来，各个维度表都连接到中央事实表。 2.1.2星系模型(也称雪花模型)：雪花模型对星型模型的维度表进一步标准化，对星型模型中的维度表进行了规范化处理。同时也是对星型模型的扩展，每一个维度都可以向外连接到多 个详细类别表。在实际应用中，用户的需求多种多样，数据来源可能为多个事实表，故可采用多个事实表共存，之间通过公用的维表相关联的星系模型，也称为事实星座。 2.1.3原子级数据模型和汇总级数据模型并存：坚持原子级数据模型和汇总级数据模型并存，而且要尽可能地细化原子级数据。 2.1.4设立代理键：代理键是维表中一些没有业务含义的字段，只是一个由数据仓库加载程序时建立的数字。 2.2空间数据仓库构建方法。随着GIS （地理信息系统）在各行业的广泛应用，最初面向事务处理为主的空间数据库信息系统已不能满足需要，信息系统开始从管理转向决策处理，空间数据仓库就是为满足这种新的需求而提出的空间信息集成系统。尤其是地理信息决策支持系统中，空间数据仓库系统显得尤为重要。 空间数据仓库具有普通数据仓库的普遍特征，但其本身有一些特殊性。并且空间数据仓也并不是空间数据库的简单集合。与空间数据库比，空间数据仓除支持数据库外，还支持数据文件、文本文件、应用程序等众多数据源；另外空间数据仓库中的数据有时间数据、空间数据、属性数据及异构数据等多种数据；其次空间数据仓库中还包括了数据处理规则、算法等；再次空间数据仓库的数据是对原始数据进行加工、处理、集成等转换，是对数据的增值和统一；空间数据库还引入了时间纵的概念，它是以时间为基准来管理数据，可以截取不同时间尺度上的信息，从瞬态到区段时间直到全体，空间数据仓库是依赖于时间维的数据结构，它可以根据不同的需要划分不同的时间粒度等级，以便进行各种复杂的趋势分析。当然，不言而喻，它还包含了空间维的方位数据。正因为空间数据仓库与普通数据仓库的不同，并且它以空间数据仓库完全不是相同的概念，一般空间数据仓库以如下体系结构分为四大功能模块，分别是源数据、数据变换工具、空间数据仓库、客户端分析工具。源数据它不仅指那些常见的空间数据库，还包括文件、网页、知识库、遗留系统等各种数据源。数据变换工具与具有普通数据仓库数据变换相同的提取转换功能，但它还包括了特有的空间变换等。空间数据仓库以立体、多维的方式来组织和显示数据。但最基本的空间维和时间维是其反映客观世界动态变化的基础，空间数据仓库技术最关键要点也就是时间维和空间维数据组织方式。目前空间数据仓库已成为国、内外GIS （地理信息系统）研究的热点并取得了较大进展。要把空间信息融合进企业现有的数据仓库中，在原有系统不作较大改动的前提下，一般采用三种模式构建企业空间数据仓库：（1）把空间信息作为多维模型中的空间维引入；（2）把空间信息作为研究主题引入；（3）在维和度量中都包含空间信息。因此，计算并存储所有空间度量是不现实的。一般使用空间索引树(如R —tree )在最细空间粒度上构建分组层次，作为空间维的分层，每个空间维需要建立一棵空间索引树。 3、结束语总之，数据仓库构建是数据仓库技术的关键，数据仓库技术是一项基于数据管理和利用的综合性技术和解决方案，尤其是现在空间数据仓库在GIS 中的广泛应用，它成为数据库市场的新一轮增长点，同时也成为下一代信息系统的重要组成部分。

成功实施数据仓库项目的7个步骤

成功实施数据仓库项目的7个步骤 建立一个数据仓库并不是一个简单的任务，不应该由一个人单独完成。由于数据仓库最佳结合了业务惯例和信息系统技术，因此，一个成功的数据仓库实施需要这两方面的不断协调，以均衡其所有的需要，要求，任务和成果。我很乐意与大家分享我在规划和管理任何数据库项目时采用的方法，这些数据库包括交易数据库，数据仓库，和混合型数据库。由于我生活在关系数据库和数据仓库以及用以支撑它们的数据提取，转换和加载(ETL )过程中，所以我会集中在这些领域讨论我的方法。然而，您可以将这些方法扩展到整个栈--OLAP立方体和如报告，特征分析(ad-hoc analysis)，记分卡和仪表盘展示之类的信息传递应用。 我不是吃撑了要告诉一个真正的项目经理( PM )如何做他或她的工作，相反，我写的这些是为那些数据库管理员和开发者，他们没有好运气能与有经验的项目经理一起工作;同样也适合这样的IT专业人员，他们被突然要求：“建立一个数据仓库“，并且需要自己扮演项目经理的角色。我的讨论不会是完整的，但我希望这会给您足够的信息来让您的项目球滚起来。

如图1所示，数据仓库项目有3个轨道(tracks)：数据轨道，技术轨道和应用层轨道。当您在整理任何数据库项目计划时，我建议您以这三个轨道为模板来管理和同步您的活动。当您向技术决策者( TDMs ) ，商业决策者( BDMs ) ，和所有其他该数据仓库项目参与者讲解您的计划时，您也可以把图1当作一个高级的概要图来使用。 使用一种生命周期管理方法 我鼓励您利用您的组织可以提供的资源，比如设计，开发和部署系统和软件的技术和方法。如果贵公司对于这些工作没有采用任何正式的方法，继续前进吧，您可采用我为我自己的数据库项目开发的7D数据库生命周期管理方法(Discover, Design, Develop, Deploy, Day to Day , Defend, Decommission), 昵称“7D法”。 我的“7D”数据库生命周期管理方法讲的是数据库的生命周期管理，而不是相关的软件(应用程序)和硬件的生命周期。图1包括了软硬件轨道，但我不会进一步阐述它们的管理。为了成功实施数据库生命周期的方法，有必要调整和同步数据库生命周期的里程碑、硬件和应用软件。

数据仓库成功应用案例讨论

中国银行广东分行数据仓库成功应用案例 信用卡业务是商业银行业务中非常重要的一部分，中国的商业银行开展信用卡业务已多年，相关数据积累相对完备且真实，信用卡业务的经营运作也已从简单的扩大规模、以量取胜阶段进入到成熟竞争、以质取胜阶段，各商业银行不断推出新的服务品种和花样繁多的增值服务，提高市场占有率并强化品牌意识以获得利润。 中国加入WTO后，银行卡业务将在3至5年内对外资银行开放，而银行卡业务不依赖于分支机构的特点将使中国的商业银行信用卡业务面临更加严酷的竞争。信用卡业务竞争本质上就是客户的竞争，而且是优质客户的竞争。针对客户发现、客户提升、客户保持、市场细分、忠诚度、贡献度、个性化服务乃至个人信用风险等等一系列围绕客户关系的新问题，支持日常运作的信用卡生产系统是面向柜员和交易的日常营运和客户服务基础设施，无法提供众多分析、决策型用户对大量历史数据同时进行突发的、复杂的决策分析，而建立一套以客户为中心的信用卡业务分析系统则是实现上述命题的必要可行手段。 在这种情况下，中国银行广东分行引入了海波龙的Hyperion Intelligence，希望通过利用Hyperion Intelligence应用实现这样的目标:建立一套以客户为中心的信用卡业务分析系统，方便企业各级工作人员获取各类信息，实现对成本收益、风险控制、绩效评估、客户管理、营销战役等决策目标的支持，并达到风险管理和控制、客户关系管理与个性化服务、商户分析与市场策略、费用控制与利润分析四大应用目标。 成功典范 中国银行广东省分行是国内金融界最早成功实施数据仓库应用解决方案的单位，其在1996年投产的省市两级金融管理信息系统(FMIS)因首次采用并成功实施先进的数据仓库/OLAP技术而荣获“八五”国家科技攻关重大成果奖，并成为目前业界反复引用的典型成功案例。 在随后的数年中，中国银行广东省分行在决策支持/数据仓库应用研发方面的投入一直保持相当大的力度，陆续推出数项新的应用，应用领域也从最初的财务管理、资产负债指标监控等分析主题逐步延伸至目前的客户及消费行为分析、个人信用评估、授信风险监控、客户关系管理以及一对一个性化营销等分析主题。 广东华际友天信息科技有限公司和中国银行广东省分行共同实施的信用卡分析系统采用了Hyperion和IBM在业界领先的数据仓库技术和工具，专门针对信用卡业务的商业智能应用。此系统的研制目的是为与信用卡业务有关各级管理人员、统计分析人员、风险监控人员，特别是业务发展人员提供灵活有效的实时数据分析/决策支持环境，使他们能够便捷地获得并分析客户特征信息、各交易要素信息以及市场统计信息，从而支持成本收益、风险控制、绩效评估、客户管理、营销战役等决策目标的实现。

数据仓库dw建设

1. 数据仓库概述 经过多年IT的建设，信息对于企业的日常管理已经日益重要，并逐渐成为重要的信息资产，信息资产的管理已经成为日常管理中一个非常重要的环节。如何管理和利用好企业内部纷繁的数据也越来越成为信息管理的一项重要工作。 在过去相当一段时间内，企业业务系统的构建主要围绕着业务的数据展开，应用的构建多是自下而上构建，主要以满足某个部门的业务功能为主，我们称之为业务处理的时代。这样的构建方式造成了一个个分立的应用，分立的应用导致了一个个的静态竖井。由于数据从属于应用，缺乏企业全局的单一视图，形成了一个个信息孤岛，分立的系统之间缺乏沟通，同样数据的孤岛导致只能获得片面的信息，而不是全局的单一视图。存储这些信息的载体可能是各种异构或同构的关系型数据库，也有可能是XML、EXCEL等文件。因此，构建新一代的一体化平台提上了日程并最终促成全域数据的管理方式，目的是覆盖企业各个环节的关键业务数据，完善元数据管理，形成全局的数据字典、业务数据规范和统一的业务指标含义，能够灵活的获取企业业务数据的单一视图（需要保证数据的一致性、完整性、准确性和及时性）。数据的交换和共享主要发生在上下级组织机构之间或同级的不同部门之间。最终，这些数据可以为部队分析、决策支持（多维分析、即席查询、数据挖掘）等应用提供更及时、准确、有效的支持。 数据仓库的目标是实现跨系统数据共享，解决信息孤岛，提升数据质量，辅助决策分析，提供统一的数据服务。同时，数据仓库的构建也面临着各种挑战，比如信息整合在技术上的复杂度、信息整合的管理成本、数据资源的获取、信息整合的实施周期以及整合项目的风险等。

2. 全域数据库总体架构 核心业务边防一体化其他XML Excel Web 服务消息队列文本数据智能传感器 虚拟传感器摄像头全域数据库总体架构 全域数据库总体的层次，最下面是基础架构层，主要包括支撑这一架构运行的主机系统、存储备份系统、网络系统等内容。从下往上看，再上面是数据源层，既包括各个业务的关系型数据源、内容管理数据源也包括半结构化数据源比如XML 、EXCEL 等，也包括各个总队、支队的业务数据源。 数据源层之上是“交换服务体系”，主要包括信息服务总线和服务总线两部分。信息服务总线主要实现数据层的信息整合和数据转换，而服务总线主要实现应用层的信息交换和整合。信息服务总线主要依托联邦、复制、清洗、转换等技术实现，其主要包括信息整合服务和清洗转换加载服务两部分。通过信息服务总线的信息整合服务（数据联邦、复制），可以透明、实时的访问分布在总队和支队的各个业务系统中的各种同构、异构数据（前提是拥有足够的权限）。信息整合服务在整个企业层面保证

(整理)数据仓库实施步骤

数据仓库构建步骤 数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。 数据仓库系统的原始需求不明确，且不断变化与增加，开发者最初不能确切了解到用户的明确而详细的需求，用户所能提供的无非是需求的大的方向以及部分需求，更不能较准确地预见到以后的需求。因此，采用原型法来进行数据仓库的开发是比较合适的，因为原型法的思想是从构建系统的简单的基本框架着手，不断丰富与完善整个系统。但是，数据仓库的设计开发又不同于一般意义上的原型法，数据仓库的设计是数据驱动的。这是因为数据仓库是在现存数据库系统基础上进行开发，它着眼于有效地抽取、综合、集成和挖掘已有数据库的数据资源，服务于企业高层领导管理决策分析的需要。但需要说明的是，数据仓库系统开发是一个经过不断循环、反馈而使系统不断增长与完善的过程，这也是原型法区别于系统生命周期法的主要特点。因此，在数据仓库的开发的整个过程中，自始至终要求决策人员和开发者的共同参与和密切协作，要求保持灵活的头脑，不做或尽量少做无效工作或重复工作。 数据仓库的设计大体上可以分为以下几个步骤： ●概念模型设计； ●技术准备工作； ●逻辑模型设计； ●物理模型设计； ●数据仓库生成； ●数据仓库运行与维护。 下面我们六个主要设计步骤为主线，介绍在各个设计步骤中设计的基本内容。 第一节概念模型设计 进行概念模型设计所要完成的工作是： <1>界定系统边界 <2>确定主要的主题域及其内容 概念模型设计的成果是，在原有的数据库的基础上建立了一个较为稳固的概念模型。因为数据仓库是对原有数据库系统中的数据进行集成和重组而形成的数据集合，所以数据仓库的概念模型设计，首先要对原有数据库系统加以分析理解，看在原有的数据库系统中“有什么”、“怎样组织的”和“如何分布的”等，然后再来考虑应当如何建立数据仓库系统的概念模型。一方面，通过原有的数据库的设计文档以及在数据字典中的数据库关系模式，可以对企业现有的数据库中的内容有一个完整而清晰的认识；另一方面，数据仓库的

数据仓库建设方案-2018-3-28

数据仓库建设 商务智能（Business Intelligence）用于支持制定业务决策的技能、流程、技术、应用和实践。核心是通过数据提取、整理、分析，最终通过分析结果制定有关策略、规划，帮助企业了解新的趋势、抓住新的市场机会、发现潜在的威胁，达到资源的合理配置，节约成本提高效益。数据仓库是商业智能的基础，它为OLAP、数据挖掘提供分析和决策支持。 一、数据仓库概念 1.数据仓库定义 是一个面向主题的、集成的、相对稳定的、反映有有历史变化的数据集合，用于支持管理决策。具有以下特点： ●详细交易及相关业务数据的集合 ●包含必要的内部与外部信息 ●来自于多个数据源、业务操作系统 ●保存一定的时间周期 ●按照企业内业务规则决定存储模型 2.建设的必要性 目前大多数信息系统由于建设时间、建设方、各阶段需求不同，会出现一系列问题：缺乏整体规则、信息缺乏完整性、缺乏统一的信息管理标准和规范、信息孤岛、不具备大容量的数据管理和分析能力。

3.价值 ●提高管理决策的科学性和管理效率 ●信息的整合，可推动现在有信息管理体系的重构 ●打通信息孤岛全局共享，降低数据获取的难度 ●逐渐取代各类业务管理报表系统 ●运用历史数据发现规律 二、数据仓库建设 1.业务需求定义 梳理出所有业务过程，分析业务内容提取需求，对其相关的数据进行探查，并对各系统核心业务人员访谈，准确的了解业务需求情况，近期调研 2.技术体系结构 生命周期图 技术架构图：

3.数据仓库数据建模 数据模型是抽象描述现实世界的一种方法，是通过抽象的实体及实体之间的联系来表示现实世界中事务的相互关系的一种映射，数据仓库模型是数据模型中针对特定的数据仓库应用系统的特定模型。数据仓库建模方法种类较多，常见的三种是范式建模、维度建模、实体建模，每种方法本质上都是从不同的角度解决业务中的问题。 关于数据仓库建模单独用一篇来详细介绍，这儿仅对维度建模做基本的介绍，维度建模由数据仓库领域另一位大师Ralph Kimall所倡导，是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型，

数据仓库的规划构建策略

数据仓库作为决策支持系统（DSS）的基础，具有面向主题的、集成的、不可更新的、随时间不断变化的特性。这些特点说明了数据仓库从数据组织到数据处理，都与原来的数据库有很大的区别，这也就需要在数据仓库系统设计时寻求一个适合于数据仓库设计的方法。在一般的系统开发规划中，首先需要确定系统的功能，这些系统的功能一般是通过对用户的需求分析得到的。从数据仓库的应用角度来看，DSS分析员一般是企业中的中高层管理人员，他们对决策支持的需求不能预先做出规范的说明，只能给设计人员一个抽象地描述。这就需要设计人员在与用户不断的交流沟通中，将系统的需求逐步明确，并加以完善。因此数据仓库的开发规划过程实际上是一个用户和设计人员对其不断了解、熟悉和完善的过程。 数据仓库作为决策支持系统（DSS）的基础，具有面向主题的、集成的、不可更新的、随时间不断变化的特性。这些特点说明了数据仓库从数据组织到数据处理，都与原来的数据库有很大的区别，这也就需要在数据仓库系统设计时寻求一个适合于数据仓库设计的方法。在一般的系统开发规划中，首先需要确定系统的功能，这些系统的功能一般是通过对用户的需求分析得到的。从数据仓库的应用角度来看，DSS分析员一般是企业中的中高层管理人员，他们对决策支持的需求不能预先做出规范的说明，只能给设计人员一个抽象地描述。这就需要设计人员在与用户不断的交流沟通中，将系统的需求逐步明确，并加以完善。因此数据仓库的开发规划过程实际上是一个用户和设计人员对其不断了解、熟悉和完善的过程。 数据仓库的开发应用规划是开发数据仓库的首要任务。只有制定了正确的数据仓库规划，才能使组织主要力量有序地实现数据仓库的开发应用。在数据仓库规划中一般需要经历这样几个过程：选择实现策略、确定数据仓库的开发目标和实现范围、选择数据仓库体系结构、建立商业和项目规划预算。

数据仓库成功案例

数据仓库成功案例３ 兴业证券数据仓库系统 编者按：兴业证券选择了Sybase的数据仓库解决方案，以帮助其成功地实现交易数据的集中处理和分析。该系统的应用采用三层式数据仓库结构，使系统具有优越的处理性能、高度可扩展性、开放性、灵活性和可管理性。 用户背景 兴业证券作为一家综合类专业证券公司、中国证券业协会理事单位，在福建省乃至全国的证券界都具有一定的影响力。公司总部设在福州，在上海也设立了区域管理总部，已经初步构建了辐射全国的业务经营机构网络。在中国加入WTO之后，兴业证券也面临着新的挑战和机遇。如何将现有的优势充分发挥并创造新的竞争优势，从而加强其在证券行业的领先地位，是兴业证券面临的重要课题。 从2001年7月开始，Sybase公司与兴业证券合作，共同开发兴业证券数据仓库和决策支持系统，帮助兴业证券总部实现对营业部集中管理和数据集中基础上的决策支持。 系统目标 兴业证券对现有信息系统的要求： * 对各个营业部交易数据汇总整合信息来源，从而提高决策信息的及时性、准确性、全局性、一致性； * 建立全面、统一、科学的日常决策分析报表/查询系统； * 深层次的信息加工，分析客户、市场、风险等主题项目，充分利用兴业证券的丰富数据； * 系统必须保证系统中每一条信息的安全性，对信息的访问进行安全性控制，这样才能充分保证信息不会泄漏，以维护证券市场的秩序； * 建立具有高处理能力和高扩展能力的数据仓库平台，以适应管理和处理日益庞大的市场数据的要求。 数据仓库系统将帮助兴业证券充分利用信息资源，为兴业证券提供坚实的信息基础以迎接上述的业务挑战和机遇。 建立数据仓库系统的目标： * 为各业务部门、兴业证券的领导层提供有效的决策管理信息支持，提高业务效率、