数据仓库-系统设计说明书
归一大数据平台
数据仓库
系统设计说明书受控不受控
修改变更记录：
目录
1 引言......................................................错误!未定义书签。
文档编制目的......................................错误!未定义书签。
背景..............................................错误!未定义书签。
词汇表............................................错误!未定义书签。
参考资料..........................................错误!未定义书签。
2 总体设计..................................................错误!未定义书签。
软件体系结构......................................错误!未定义书签。
系统运行体系......................................错误!未定义书签。
运行体系图....................................错误!未定义书签。
程序/模块对应表...............................错误!未定义书签。
系统物理结构......................................错误!未定义书签。
技术路线..........................................错误!未定义书签。
3 系统接口设计..............................................错误!未定义书签。
用户接口..........................................错误!未定义书签。
4 子系统/模块设计...........................................错误!未定义书签。
数据仓库..........................................错误!未定义书签。
ODL(操作数据)层设计...........................错误!未定义书签。
BDL(数据仓库)层设计...........................错误!未定义书签。
IDL(宽表)层设计...............................错误!未定义书签。
PDL(应用)层设计...............................错误!未定义书签。
PUB(维度)层设计...............................错误!未定义书签。
数据导出设计..................................错误!未定义书签。
5 数据结构与数据库设计......................................错误!未定义书签。
6 外部存储结构设计..........................................错误!未定义书签。
7 故障处理说明..............................................错误!未定义书签。
8 尚需解决的问题............................................错误!未定义书签。
编写指南：
本模板力图给出系统设计阶段可能包括的基本信息，重点在于和需求分析文档相联系。描述系统整体情况。如果某个章节在项目或当前阶段中无法描述，则可保留其标题，注明“不
适用”；如果需要对本模板的个别章节详细描述，也可将其形成单独的文档，成为本文档附件。
若文档中的某个章节已经在其他项目文档中加以描述，可保留标题，注明“参见（文档编号）（文档名称）（条款）”。
形成正式文档后须删除斜体字内容。
0 报告编制要求
这里列出本系统设计报告编制的经验性要求，须由系统设计人员参照其进行裁剪以确定本次报告编制的相关规定。
序号要求
1对各种结构图要求采用Visio绘制。
2软件体系结构图通常包括：子系统实体、子系统间数据流、相关说明。
3软件结构图通常包括：模块实体、模块间数据流、数据存储、相关说明。
4运行体系图包括：进程实体、启动顺序、并发性、数据交换。
5物理结构图包括：物理节点实体、物理节点分布、物理节点描述、物理节点间相互关系。
6对数据库结构的描述要求采用结构图方式描述，而非采用过多表格。
7数据库结构图主要包括：表实体、表间关系、主要字段、相关说明四部分。
8对于平台性产品，要求有系统层次的划分图。
9通常要隔离应用对数据库的直接访问。
1引言
1.1文档编制目的
指导开发人员进行后期的开发工作；
指导测试人员进行解决方案级的系统测试；
1.2背景
叙述系统设计阶段的目标、作用范围以及其他应向读者说明的理解本报告所需的背景，如与公司其它软件之间的联系等。
1.3词汇表
列出本系统设计说明书中专门术语的定义、英文缩写词的原词组和意义、项目组内达成一致意见的专用词汇，同时要求继承全部的先前过程中定义过的词汇。
备注中注明该词汇的来源，或有其他更详细的解释的文档位置；以及对该词汇的其他叫法。
1.4参考资料
需求规格说明书
系统架构设计说明书
数据仓库命名规范.docx
2总体设计
2.1软件体系结构
2.2系统物理结构
描述使用本软件系统典型用户的物理设备分布图及设备上相应基本软件配置。软件环境包括：操作系统、数据库、以及其它支撑软件；硬件环境包括：主机类型、网络类型、存储器容量、其它特殊设备。
要求：
1）尽量为系统的每个物理节点定义一个和功能相关的名称，名称的含义在词汇表中说明；2）结合运行体系图中提到的“程序”，将相关的“运行程序”分布到各个物理节点中；3）采用网络拓扑图表示。
2.3技术路线
描述本软件系统在实现过程中所采用的技术路线、方法。对较新的技术给予详细的阐述及必要的说明，在可能的情况下给出相应的技术参考资料。
3系统接口设计
3.1用户接口
无接口。
4子系统/模块设计
4.1数据仓库
4.1.1ODL(操作数据层)设计
4.1.1.1功能描述
实现从外部系统导入数据到大数据平台,ODL层数据与数据源保持一致.
同步方式包括:
增量同步
全量同步
数据源类型包括:
数据库
4.1.1.2业务流程
流程图:
数据同步流程图
数据库同步
调度系统数据源系统
数据库读取同步脚本
远程调用
ODL本地表
结束
分布式数据仓库
开始
是否成功
异常处理
是
否
流程说明:
1. 调度系统定时启动数据同步作业.
2. 作业读取数据同步脚本,远程调用数据库接口.
3. 数据库接口返回远程调用结果.
4. 接收数据库接口返回的数据集,装载到ODL本地表.
异常处理:
调度系统捕获异常并处理
日志说明:
由调度系统负责记录作业(正常和异常)日志.
数据源说明:
1. 通过视图封装需要同步的物理表, 与业务进行隔离. 当物理表发生变动,尽量通过修改视图兼容.
2. 数据同步程序访问数据源视图.
数据粒度说明：
与数据源保持完全一致。
4.1.1.3作业设计
详见<<数据同步列表.xlsx>>
4.1.2BDL(事物层)设计
4.1.2.1功能描述
BDL层对ODL数据进行清洗、转换，实现统一维度的数据整合。
4.1.2.2业务流程
流程图:
BDL数据流程图
E T L 阶段
调度系统
读取作业脚本
BDL本地表
结束
分布式数据仓库
开始ODL表
数据清洗
维度转换、捕获维表流程说明:
1. 调度系统定时启动数据同步作业.
2. 作业读取ODL表，进行数据清洗，对不符合规则的数据进行丢弃或转换.
3. 将转换后的结果数据装载到BDL本地表.
异常处理:
调度系统捕获异常并处理.
日志说明:
由调度系统负责记录作业(正常和异常)日志.
数据粒度说明：
与ODL保持一致.
4.1.2.3作业设计
详见<<数据仓库转换文档.xlsx>>
4.1.3IDL(宽表层)设计
4.1.3.1功能描述
在IDL层对BDL事实表按主题进行合并, 形成一次写多次读的宽表, 降低系统整体开销. 并实际根据需要进行用户级粒度的聚合, 进一步提高查询效率.
4.1.3.2业务流程
流程图:
IDL数据流程图
E T L 阶段
调度系统
读取作业脚本
IDL本地表
结束
分布式数据仓库
开始BDL表1
按主题关联
事物级粒度
BDL表N
用户级粒度聚合流程说明:
1. 调度系统定时启动数据同步作业.
2. 按主题读取相关BDL表, 进行关联, 尽量补齐维度字段, 生成事物级宽表.
3. 按用户级粒度聚合, 生成用户级宽表.
异常处理:
调度系统捕获异常并处理
日志说明:
由调度系统负责记录作业(正常和异常)日志.
数据粒度说明:
1. 事物级粒度.
2. 用户级粒度.
4.1.3.3作业设计
详见<<数据仓库转换文档.xlsx>>
4.1.4PDL(应用层)设计
4.1.4.1功能描述
PDL层按业务需求, IDL宽表汇总查询生成各种结果表.
4.1.4.2业务流程
流程图:
PDL数据流程图
E T L 阶段
调度系统
读取作业脚本
PDL本地表
结束
分布式数据仓库开始IDL表
各种粒度聚合
维度条件筛选
生成指标数据
流程说明:
1. 调度系统定时启动数据同步作业.
2. 读取IDL宽表,按业务需求进行聚合,筛选,生成指标数据.
3. 结果写入PDL层结果表.
异常处理:
调度系统捕获异常并处理
日志说明:
由调度系统负责记录作业(正常和异常)日志.
数据粒度说明:
1. 按业务需求的各种粒度.
4.1.4.3业务账数据统计设计
业务账数据统计如下特点:
业务账指标由多个交易类型代码组合, 一个交易类型代码对应多个业务
指标, 例如:
业务账指标A 交易类型代码{M00010, M00001,M00002,M00003,…}
业务账指标B 交易类型代码{M00010, M00011,M00012,M00013,…}
业务账指标C 交易类型代码{M00000, M00011,M00002,M00023,…}随需求也业务变化, 业务账指标及其交易类型代码也会变化.
每个业务账指标统计算法相同, 只是其交易类型代码组合不同.
每个业务账指标可能会被多个报表调用，例如“积分总金额”
针对以上特性, 通过抽象的方法，设计对指标（交易类型代码）配置化管理、运算统一化技术的功能，减少系统维护成本。
业务账指标定义交易类型代码字典
业务账指标
业务账流水
配置
业务账指标数据
报表调用
4.1.4.4作业设计
详见<<数据仓库转换文档.xlsx>>
4.1.5PUB(维度)库设计
4.1.
5.1功能描述
采用异步LOOUP方法,主动捕获非法维度数据,经过人工识别生成维度数据.
4.1.
5.2业务流程
流程图:
PUB数据流程图
E T L 阶段
调度系统
读取作业脚本
结束
分布式数据仓库
开始ODL表、维表
异步LOOKUP维度映射表
人工识别处理
维度表
捕获异常维度是
流程说明:
1. 调度系统定时启动数据同步作业.
2. 异步读取ODL表和维表,对比维度映射表查找是否有不存在的维度数据.
3. 如果发现非法维度数据,经过人工识别,写入维度映射表和维度表.
异常处理:
调度系统捕获异常并处理
日志说明:
由调度系统负责记录作业(正常和异常)日志.
4.1.
5.3作业设计
详见<<数据仓库转换文档.xlsx>>
4.1.6业务账(数据集市)库
4.1.7数据导出设计
4.1.7.1功能描述
将PDL表和维度导出,同步给mysql库,供统计报表查询使用.
4.1.7.2业务流程
数据导出流程图
E T L 阶段
调度系统门户系统
PDL表、维表
读取同步脚本抽取
结束
分布式数据仓库
开始
统计表、维表
装载
流程说明:
1. 调度系统定时启动数据同步作业.
2. 读取PDL表和维表,将数据装载到MYSQL库对应的表中.
异常处理:
调度系统捕获异常并处理
日志说明:
由调度系统负责记录作业(正常和异常)日志.
4.1.7.3作业设计
5数据结构与数据库设计
详见<<数据库设计说明书.docx>>
6外部存储结构设计
说明本系统存贮于磁盘等持久性存贮介质，而且不是由数据库管理系统进行管理的数据的组织结构，包括数据名称、用途、每个数据项的标识名、类型和含义，组织结构、访问方法和存储要求。
7故障处理说明
说明本系统所采用的基本错误处理方法和原则，例如：统一采用C++ try-catch错误方法，所有错误最终必须以界面形式向用户说明。用一览表方式说明各类可能的错误或故障出现时系统的处理方法和补救措施。
8尚需解决的问题
以列表的形式列出在系统设计阶段必须解决但尚未解决的问题。可对问题进行编号以便进行跟踪。
数据仓库模型的设计
2.5数据仓库模型的设计 数据仓库模型的设计大体上可以分为以下三个层面的设计151: .概念模型设计; .逻辑模型设计; .物理模型设计; 下面就从这三个层面分别介绍数据仓库模型的设计。 2.5.1概念模型设计 进行概念模型设计所要完成的工作是: <1>界定系统边界 <2>确定主要的主题域及其内容 概念模型设计的成果是，在原有的数据库的基础上建立了一个较为稳固的概念模型。因为数据仓库是对原有数据库系统中的数据进行集成和重组而形成的数据集合，所以数据仓库的概念模型设计，首先要对原有数据库系统加以分析理解，看在原有的数据库系统中“有什么”、“怎样组织的”和“如何分布的”等，然后再来考虑应当如何建立数据仓库系统的概念模型。一方面，通过原有的数据库的设计文档以及在数据字典中的数据库关系模式，可以对企业现有的数据库中的内容有一个完整而清晰的认识;另一方面，数据仓库的概念模型是面向企业全局建立的，它为集成来自各个面向应用的数据库的数据提供了统一的概念视图。 概念模型的设计是在较高的抽象层次上的设计，因此建立概念模型时不用考虑具体技术条件的限制。 1.界定系统的边界 数据仓库是面向决策分析的数据库，我们无法在数据仓库设计的最初就得到详细而明确的需求，但是一些基本的方向性的需求还是摆在了设计人员的面前: . 要做的决策类型有哪些? . 决策者感兴趣的是什么问题? . 这些问题需要什么样的信息? . 要得到这些信息需要包含原有数据库系统的哪些部分的数据? 这样，我们可以划定一个当前的大致的系统边界，集中精力进行最需要的部分的开发。因而，从某种意义上讲，界定系统边界的工作也可以看作是数据仓库系统设计的需求分析，因为它将决策者的数据分析的需求用系统边界的定义形式反映出来。 2，确定主要的主题域 在这一步中，要确定系统所包含的主题域，然后对每个主题域的内
数据库管理系统的设计与实现
数据库管理系统的设计与实现 1.DBMS的目标 （1）用户界面友好对一个实用DBMS来说，用户界面的质量直接影响其生命力。DBMS的用户接口应面向应用，采用适合最终用户的交互式、表格式、菜单式、窗口式等界面形式，以方便使用和保持灵活性。一般地说，用户界面应具有可靠性、简单性、灵活性和立即反馈等特性。 （2）功能完备DBMS功能随系统的规模的大小而异。大型DBMS功能齐全，小型DBMS功能弱一些。DBMS主要功能包括数据定义、数据库数据存取、事务控制、数据库组织和存储管理、数据库安全保护等等。我们在下面讨论这些功能的内容。 （3）效率高系统效率包括三个方面:一是计算机系统内部资源的使用效率。能充分利用资源（包括存储空间、设备、CPU等），并注意使各种资源负载均衡以提高整个系统的效率，二是DBMS本身的运行效率。三是用户的生产率。这是指用户学习、使用DBMS和在DBMS基础上开发的应用系统的效率。 2.DBMS的基本功能 （1）数据库定义对数据库的结构进行描述，包括外模式、模式、内模式的定义;数据库完整性的定义;安全保密定义（如用户口令、级别、存取权限）;存取路径（如索引）的定义。这些定义存储在数据
字典（亦称为系统目录）中，是DBMS运行的基本依据。为此，提供数据定义语言DDL。 （2）数据存取提供用户对数据的操纵功能，实现对数据库数据的检索、插入、修改和删除。一个好的DBMS应该提供功能强易学易用的数据操纵语言（DML）、方便的操作方式和较高的数据存取效率。DML有两类:一类是宿主型语言，一类是自含型语言。前者的语句不能独立使用而必须嵌入某种主语言，如C语言、COBOL语言中使用。而后者可以独立使用，通常以供终端用户交互使用和批处理方式两种形式使用。 （3）数据库运行管理这是指DBMS运行控制、管理功能。包括多用户环境下的并发控制、安全性检查和存取权限控制、完整性检查和执行、数据加密、运行日志的组织管理、事务的管理和自动恢复（保证事务的正确性），这些功能保证了数据库系统的正常运行。 （4）数据组织、存储和管理DBMS要分门别类地组织、存储各类数据，包括数据字典（亦称系统目录）、用户数据、存取路径等等。要确定以何种文件结构和存取方式在存储级上组织这些数据，如何实现数据之间的联系。数据组织和存储的基本目标是提高存储空间利用率，选择合适的存取方法确保较高存取（如随机查找、顺序查找、增、删、改）效率。 （5）数据库的建立和维护包括数据库的初始建立、数据的转换、数据库的转储和恢复、数据库的重组织和重构造以及有性能监测分析等功能。
数据仓库设计指南
数据仓库设计指南 在一般的数据仓库应用系统中，根据系统体系结构的不同，数据仓库设计的内容和范围不尽相同，并且设计方法也不尽相同，下面的两幅图示分别表示带有ODS的数据仓库应用系统体系结构和不带ODS的数据仓库应用系统体系结构。本文将说明两个体系结构上的差异以及这种差异造成的设计方法的不同，并且重点介绍带有ODS的体系结构中数据仓库的设计方法。GV1 =p}` 在数据仓库的设计指导思想中，数据仓库的概念定义是非常重要的，数据仓库概念规定了数据仓库所具有的几个基本特性，这些特性也正是对数据仓库设计结果进行检验的重要依据。M)_m= }d 根据Bill.Inmon的定义，“数据仓库是面向主题的、集成的、稳定的、随时间变化的，主要用于决策支持的数据库系统”。_R)tJ Ro ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。4\&P~kI 一般在带有ODS的系统体系结构中，ODS都设计为如下几个作用：#:1< R\H6m 1）在业务系统和数据仓库之间形成一个隔离层。[t"C/;S! 一般的数据仓库应用系统都具有非常复杂的数据来源，这些数据存放在不同的地理位置、不同的数据库、不同的应用之中，从这些业务系统对数据进行抽取并不是一件容易的事。因此，ODS用于存放从业务系统直接抽取出来的数据，这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一致，因此在抽取过程中极大降低了数据转化的复杂性，而主要关注数据抽取的接口、数据量大小、抽取方式等方面的问题。,8mPV{U KU 2）转移一部分业务系统细节查询的功能 Cr 第1章数据仓库建设 1.1数据仓库总体架构 专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。 根据专家系统数据仓库建设目标，结合系统数据业务规范，包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下： 数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的内容： 数据采集：负责从各业务自系统中汇集信息数据，系统支撑Kafka、Storm、Flume 及传统的ETL采集工具。 数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。 数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。 数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。 1.2数据采集 专家系统数据仓库数据采集包括两个部分内容：外部数据汇集、内部各层数据的提取与加载。外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层（ODS）；内部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。 1.2.1外部数据汇集 专家数据仓库数据源包括列车监控与检测系统（TCMS）、车载子系统等相关子系统，数据采集的内容分为实时数据采集和定时数据采集两大类，实时数据采集主要对于各项检测指标数据；非实时采集包括日检修数据等。 根据项目信息汇集要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。 本方案在数据采集架构采用Flume+Kafka+Storm的组合架构，采用Flume和ETL 工具作为Kafka的Producer，采用Storm作为Kafka的Consumer，Storm可实现对海量数据的实时处理，及时对问题指标进行预警。具体采集系统技术结构图如下: 归一大数据平台 数据仓库 系统设计说明书受控不受控 修改变更记录： 目录 1引言 (5) 1.1文档编制目的 (5) 1.2背景 (6) 1.3词汇表 (6) 1.4参考资料 (6) 2总体设计 (7) 2.1软件体系结构 (7) 2.2系统运行体系......................................................................... 错误！未定义书签。 2.2.1运行体系图..................................................................... 错误！未定义书签。 2.2.2程序/模块对应表............................................................ 错误！未定义书签。 2.3系统物理结构 (7) 2.4技术路线 (8) 3系统接口设计 (8) 3.1用户接口 (8) 4子系统/模块设计 (8) 4.1数据仓库 (8) 4.1.1ODL(操作数据)层设计 (8) 4.1.2BDL(数据仓库)层设计 (10) 4.1.3IDL(宽表)层设计 (11) 4.1.4PDL(应用)层设计 (12) 4.1.5PUB(维度)层设计 (15) 4.1.6数据导出设计 (16) 5数据结构与数据库设计 (17) 6外部存储结构设计 (17) 7故障处理说明 (17) 8尚需解决的问题 (18) 编写指南： 本模板力图给出系统设计阶段可能包括的基本信息，重点在于和需求分析文档相联系。描述系统整体情况。如果某个章节在项目或当前阶段中无法描述，则可保留其标题，注明“不 数据库课程设计——学生信息管理系统 学院：机电工程学院 班级：09工业工程 组员：郎建鹏 学号：0911******* 指导老师：李峰平 目录 第一章系统分析 (2) 1 建立新系统的必要性 (2) 2 业务流程分析（业务流程图） (2) 3 数据流程图 (3) 4 数据字典 (4) 第二章系统设计 (4) 1 数据库设计（E-R） (4) 2系统运行环境 (6) 3输入输出设计 (10) 第三章设计总结 (10) 参考文献……………………………………………………………… 图例说明……………………………………………………………… 第一章系统分析 1 建立新系统的必要性 这次的课程设计是在学习完《数据库原理》和《delphi程序设计》基础上进行的一次系统性的训练，既是对所学知识的巩固，也是对自己综合运用所学知识解决实际问题的一次锻炼。学生信息管理系统的主要目的是为了方便学校对学生的信息进行录入、修改、查询，提高学校的工作效率。这一系统的开发成功，解决了手写速度慢、容易出错的现状。 学生信息管理可以帮助学校最迅速最准确的完成所需的工作。无论是在适用性、灵活性和易操作性方面都显示出了它的强大功能。 2 业务流程分析（业务流程图） 数据流图是结构化分析中不可缺少的有力工具，它描述了系统的分解，即系统由哪些部分组成，各部分之间有什么联系等。但是，它还不能完整地表达一个系统的全部逻辑特征，特别是有关数据的详细内容。因此，仅仅一套数据流图并不能构成系统说明书，只有对图中出现的每一个成分都给出详细定义以之后，才能全面地描述一个系统。对数据流、数据存储和数据处理的详细描述，需要用数据字典（DD）。它包括数据流、数据存储、外部项和处理过程的详细条目。数据字典中把数据的最小单位定义为数据项，而若干数据项可以组成一个数据结构。数据字典是通过以数据项和数据结构的定义来描述数据流、数据存储的逻辑内容。 第二章系统设计 1 数据库设计（E-R） （1）管理员实体的E-R图 （2）普通用户实体的E-R图 高效实现数据仓库的七个步骤 数据仓库和我们常见的RDBMS系统有些亲缘关系，但它又有所不同。如果你没有实施过数据仓库，那么从设定目标到给出设计，从创建数据结构到编写数据分析程序，再到面对挑剔的用户的评估，整个过程都会带给你一种与以往的项目完全不同的体验。一句话，如果你试图以旧有的方式创建数据仓库，那你所面对的不是预算超支就是所建立的数据仓库无法良好运作。 在处理一个数据仓库项目时需要注意的问题很多，但同时也有很多有建设性的参考可以帮助你更顺利的完成任务。开放思维，不断尝试新的途径，对于找到一种可行的数据仓库实现方法来说也是必需的。 1. 配备一个全职的项目经理或你自己全面负责项目管理 在通常情况下，项目经理都会同时负责多个项目的实施。这么做完全是出于资金和IT资源方面的考虑。但是对于数据仓库项目的管理，绝对不能出现一人身兼数个项目的情况。由于你所处的领域是你和你的团队之前没有进入过的领域，有关数据仓库的一切－数据分析、设计、编程、测试、修改、维护－全都是崭新的，因此你或者你指派的项目经理如果能全心投入，对于项目的成功会有很大帮助。 2. 将项目管理职责推给别的项目经理 由于数据仓库实现过程实在是太困难了，为了避免自虐，你可以在当前阶段的项目完成后就将项目管理职责推给别的项目经理。当然，这个新的项目经理一定要复合第一条所说的具有全职性。为什么要这么做呢？首先，从项目经理的角度看，数据仓库实施过程的任何一个阶段都足以让人身心疲惫。从物理存储设备的开发到Extract-Transform-Load的实现，从设计开发模型到OLAP，所有阶段都明显的比以前接触的项目更加困难。每个阶段不但需要新的处理方法、新的管理方法，还需要创新性的观点。所以将管理职责推给别的项目经理不但不会对项目有损害，还可以起到帮助作用。 3.与用户进行沟通 这里所讲的内容远比一篇文章本身要重要的多。你必须明白，在数据仓库的设计阶段，那些潜在用户自己也不清楚他们到底需要数据仓库为他们做什么。他们在不断的探索和发现自己的需求，而你的开发团队也在和客户的接触中做着同样的事情。更加频繁的与客户接触，多做记录， 摘要 数据库技术是计算机科学技术发展最快，应用最为广泛的技术之一。其在计算机设计，人工智能，电子商务，企业管理，科学计算等诸多领域均得到了广泛的应用，已经成为计算机信息系统和应用的核心技术和重要基础。 随着信息技术的飞速发展,信息化的大环境给各成人高校提出了实现校际互联,国际互联,实现静态资源共享,动态信息发布的要求; 信息化对学生个人提出了驾驭和掌握最新信息技术的素质要求;信息技术提供了对教学进行重大革新的新手段;信息化也为提高教学质量,提高管理水平,工作效率创造了有效途径. 校园网信息系统建设的重要性越来越为成人高校所重视. 利用计算机支持教学高效率，完成教学管理的日常事务，是适应现代教学制度要求、推动教学管理走向科学化、规范化的必要条件；而教学管理是一项琐碎、复杂而又十分细致的工作，工资计算、发放、核算的工作量很大，不允许出错，如果实行手工操作，每月须手工填制大量的表格，这就会耗费工作人员大量的时间和精力，计算机进行教学管理工作，不仅能够保证各项准确无误、快速输出，而且还可以利用计算机对有关教学的各种信息进行统计，同时计算机具有手工管理所无法比拟的优点.例如:检索迅速、查找方便、可靠性高、存储量大、保密性好、寿命长、成本低等。这些优点能够极大地提高员工工资管理的效率,也是教学的科学化、正规化管理，与世界接轨的件。在软件开发的过程中，随着面向对象程序设计和数据库系统的成熟，数据设计成为软件开发的核心，程序的设计要服从数据，因此教学管理系统的数据库设计尤其重要。 本文主要介绍教学管理系统的数据库方面的设计，从需求分析到数据库的运行与维护都进行详细的叙述。本系统利用IBM DB2企业版本开发出来的。DB2是IBM公司开发的关系关系数据库管理系统，它把SQL语言作为查询语言。 本文的分为5章。其中第1章主要是课题简介及设计的内容与目的。第2章是需求分析，此阶段是数据库设计的起点。第3章是概念设计，它是将需求分析的用户需求抽象为信息结构，这是整个数据库设计最困难的阶段。第4章是逻辑结构设计，它将概念模型转换为某个DBMS所支持的数据模型。第5章是数据库的实施与运行，它包括数据的载入及数据库的运行。 关键词：SQL语言；IBM DB2；数据库设计；教学管理系统 I 数据仓库设计的21条原则：7个步骤，7个禁忌和7种思路(转) 高效实现数据仓库的七个步骤 数据仓库和我们常见的RDBMS系统有些亲缘关系，但它又有所不同。如果你没有实施过数据仓库，那么从设定目标到给出设计，从创建数据结构到编写数据分析程序，再到面对挑剔的用户的评估，整个过程都会带给你一种与以往的项目完全不同的体验。一句话，如果你试图以旧有的方式创建数据仓库，那你所面对的不是预算超支就是所建立的数据仓库无法良好运作。 在处理一个数据仓库项目时需要注意的问题很多，但同时也有很多有建设性的参考可以帮助你更顺利的完成任务。开放思维，不断尝试新的途径，对于找到一种可行的数据仓库实现方法来说也是必需的。 1. 配备一个全职的项目经理或你自己全面负责项目管理 在通常情况下，项目经理都会同时负责多个项目的实施。这么做完全是出于资金和IT资源方面的考虑。但是对于数据仓库项目的管理，绝对不能出现一人身兼数个项目的情况。由于你所处的领域是你和你的团队之前没有进入过的领域，有关数据仓库的一切－数据分析、设计、编程、测试、修改、维护－全都是崭新的，因此你或者你指派的项目经理如果能全心投入，对于项目的成功会有很大帮助。 2. 将项目管理职责推给别的项目经理 由于数据仓库实现过程实在是太困难了，为了避免自虐，你可以在当前阶段的项目完成后就将项目管理职责推给别的项目经理。当然，这个新的项目经理一定要复合第一条所说的具有全职性。为什么要这么做呢？首先，从项目经理的角度看，数据仓库实施过程的任何一个阶段都足以让人身心疲惫。从物理存储设备的开发到Extract-Transform-Load的实现，从设计开发模型到OLAP，所有阶段都明显的比以前接触的项目更加困难。每个阶段不但需要新的处理方法、新的管理方法，还需要创新性的观点。所以将管理职责推给别的项目经理不但不会对项目有损害，还可以起到帮助作用。 3.与用户进行沟通 这里所讲的内容远比一篇文章本身要重要的多。你必须明白，在数据仓库的设计阶段，那些潜在用户自己也不清楚他们到底需要数据仓库为他们做什么。他们在不断的探索和发现自己的需求，而你的开发团队也在和客户的接触中做着同样的事情。更加频繁的与客户接触，多做记录，并让你的团队更关注于项目需求讨论的结果而不是讨论的过程本身。 既然你和客户的交流是为了了解存储的数据是何种类型以及如何有效存储数据，你也许需要（和你的用户一起）采用一种新的方法观察数据，而不是直接处理数据。你可以尝试从中找出隐藏的信息，比如在一段时期内的数字涨落等。不要试图追寻项目需求的答案，而是要让答案找上门来。 4. 以技术/信息库作为领导 由于数据仓库实施的各个阶段都有很大不同，因此你需要有人能起到维持整个项目的连续进行的作用，不过这个职责并不需要那种全职性。项目实施有三个重要方面：架构、技术和业务。将架构作为重点可以保证在整个项目中，数据仓库的架构从物理层往上，都会受到良好的维护。而我们应该将技术作为重点，因为开发团队和关键用户都在使用他们以前从未用过的工具，必须有人监督开发过程以及工具使用的一致性。 最后，在数据仓库的应用过程中浮现出来的业务需求必须被详细分析和记录，以促机开发过程持续下去。如果用户不能很好的与开发人员以及其它用户沟通，那么数据分析和度量方面的开发进程就会延期，所以必须有人关注业务方面的开发，推动开发进入更高级别。 5. 跳出反复修改程序的陷阱 第一次实现的数据仓库肯定不会是最终交付的版本。为什么呢？实际上在真正见到产品前，你无法确定 数据库系统的设计步骤 数据库设计(Database Design)是指对于一个给定的应用环境，构造最优的数据库模式，建立数据库及其应用系统，使之能够有效地存储数据，满足各种用户的应用需求。下面小编整理了数据库系统的设计步骤，供大家参考！ 进行数据库设计首先必须准确了解和分析用户需求。需求分析是整个设计过程的基础，也是最困难，最耗时的一步。需求分析是否做得充分和准确，决定了在其上构建数据库大厦的速度与质量。需求分析做的不好，会导致整个数据库设计返工重做。 需求分析的任务，是通过详细调查现实世界要处理的对象，充分了解原系统工作概况，明确用户的各种需求，然后在此基础上确定新的系统功能，新系统还得充分考虑今后可能的扩充与改变，不仅仅能够按当前应用需求来设计。 调查的重点是，数据与处理。达到信息要求，处理要求，安全性和完整性要求。 分析方法常用SA(Structured Analysis) 结构化分析方法，SA方法从最上层的系统组织结构入手，采用自顶向下，逐层分解的方式分析系统。 数据流图表达了数据和处理过程的关系，在SA方法中，处理过程的处理逻辑常常借助判定表或判定树来描述。在处理功能逐步分解的同事，系统中的数据也逐级分解，形成若 干层次的数据流图。系统中的数据则借助数据字典来描述。数据字典是系统中各类数据描述的集合，数据字典通常包括数据项，数据结构，数据流，数据存储，和处理过程5个阶段。 概念结构设计是整个数据库设计的关键，它通过对用户需求进行综合，归纳与抽象，形成了一个独立于具体DBMS 的概念模型。 设计概念结构通常有四类方法： 自顶向下。即首先定义全局概念结构的框架，再逐步细化。 自底向上。即首先定义各局部应用的概念结构，然后再将他们集成起来，得到全局概念结构。 逐步扩张。首先定义最重要的核心概念结构，然后向外扩张，以滚雪球的方式逐步生成其他的概念结构，直至总体概念结构。 混合策略。即自顶向下和自底向上相结合。 逻辑结构设计是将概念结构转换为某个DBMS所支持的数据模型，并将进行优化。 在这阶段，E-R图显得异常重要。大家要学会各个实体定义的属性来画出总体的E-R图。 各分E-R图之间的冲突主要有三类：属性冲突，命名冲突，和结构冲突。 数据仓库的基本架构 xiaoyi发表于 2013-07-31 23:57 来源：网站数据分析 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用： 从图中可以看出数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自上而下流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。 数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持ETL的正常和稳定。 下面主要简单介绍下数据仓库架构中的各个模块，当然这里所介绍的数据仓库主要是指网站数据仓库。 数据仓库的数据来源 其实之前的一篇文章已经介绍过数据仓库各种源数据的类型——数据仓库的源数据类型，所以这里不再详细介绍。 对于网站数据仓库而言，点击流日志是一块主要的数据来源，它是网站分析的基础数据；当然网站的数据库数据也并不可少，其记录这网站运营的数据及各种用户操作的结果，对于分析网站Outcome这类数据更加精准；其他是网站内外部可能产生的文档及其它各类对于公司决策有用的数据。 数据仓库的数据存储 源数据通过ETL的日常任务调度导出，并经过转换后以特性的形式存入数据仓库。其实这个过程一直有很大的争议，就是到底数据仓库需不需要储存细节数据，一方的观点是数据仓库面向分析，所以只要存储特定需求的多维分析模型；另一方的观点是数据仓库先要建立和维护细节数据，再根据需求聚合和处理细节数据生成特定的分析模型。我比较偏向后面一个观点：数据仓库并不需要储存所有的原始数据，但数据仓库需要储存细节数据，并且导入的数据必须经过整理和转换使其面向主题。简单地解释下： (1).为什么不需要所有原始数据？数据仓库面向分析处理，但是某些源数据对于分析而言没有价值或者其可能产生的价值远低于储存这些数据所需要的数据仓库的实现和性能上的成本。比如我们知道用户的省份、城市足够，至于用户究竟住哪里可能只是物流商关心的事，或者用户在博客的评论内容可能只是文本挖掘会有需要，但将这些冗长的评论文本存在数据仓库就得不偿失； 数据库系统概论习题集 第一章绪论 一、选择题 1. DBS是采用了数据库技术的计算机系统，DBS是一个集合体，包含数据库、计算机硬件、软件和（）。 A. 系统分析员 B. 程序员 C. 数据库管理员 D. 操作员 2. 数据库（DB），数据库系统（DBS）和数据库管理系统（DBMS）之间的关系是（）。 A. DBS包括DB和DBMS B. DBMS包括DB和DBS C. DB包括DBS和DBMS D. DBS就是DB，也就是DBMS 3. 下面列出的数据库管理技术发展的三个阶段中，没有专门的软件对数据进行管理的是（）。 I．人工管理阶段 II．文件系统阶段 III．数据库阶段 A. I 和II B. 只有II C. II 和III D. 只有I 4. 下列四项中，不属于数据库系统特点的是（）。 A. 数据共享 B. 数据完整性 C. 数据冗余度高 D. 数据独立性高 5. 数据库系统的数据独立性体现在（）。 A.不会因为数据的变化而影响到应用程序 B.不会因为系统数据存储结构与数据逻辑结构的变化而影响应用程序 C.不会因为存储策略的变化而影响存储结构 D.不会因为某些存储结构的变化而影响其他的存储结构 6. 描述数据库全体数据的全局逻辑结构和特性的是（）。 A. 模式 B. 模式 C. 外模式 D. 用户模式 7. 要保证数据库的数据独立性，需要修改的是（）。 A. 模式与外模式 B. 模式与模式 C. 三层之间的两种映射 D. 三层模式 8. 要保证数据库的逻辑数据独立性，需要修改的是（）。 A. 模式与外模式的映射 B. 模式与模式之间的映射 C. 模式 D. 三层模式 9. 用户或应用程序看到的那部分局部逻辑结构和特征的描述是（），它是模式的逻辑子集。 A.模式 B. 物理模式 C. 子模式 D. 模式 10.下述（）不是DBA数据库管理员的职责。 A.完整性约束说明 B. 定义数据库模式 C.数据库安全 D. 数据库管理系统设计 选择题答案： (1) C (2) A (3) D (4) C (5) B (6) A (7) C (8) A (9) C (10) D 二、简答题 １．试述数据、数据库、数据库系统、数据库管理系统的概念。 数据： 描述事物的符号记录称为数据。数据的种类有文字、图形、图象、声音、正文等等。数据与其语义是不可分的。 数据库系统原理与设计习题集 第一章绪论 一、选择题 1. DBS是采用了数据库技术的计算机系统，DBS是一个集合体，包含数据库、计算机硬件、软件和（）。 A. 系统分析员 B. 程序员 C. 数据库管理员 D. 操作员 2. 数据库（DB），数据库系统（DBS）和数据库管理系统（DBMS）之间的关系是（）。 A. DBS包括DB和DBMS B. DBMS包括DB和DBS C. DB包括DBS和DBMS D. DBS就是DB，也就是DBMS 3. 下面列出的数据库管理技术发展的三个阶段中，没有专门的软件对数据进行管理的是（）。 I．人工管理阶段 II．文件系统阶段 III．数据库阶段 A. I 和II B. 只有II C. II 和III D. 只有I 4. 下列四项中，不属于数据库系统特点的是（）。 A. 数据共享 B. 数据完整性 C. 数据冗余度高 D. 数据独立性高 5. 数据库系统的数据独立性体现在（）。 A.不会因为数据的变化而影响到应用程序 B.不会因为系统数据存储结构与数据逻辑结构的变化而影响应用程序 C.不会因为存储策略的变化而影响存储结构 D.不会因为某些存储结构的变化而影响其他的存储结构 6. 描述数据库全体数据的全局逻辑结构和特性的是（）。 A. 模式 B. 内模式 C. 外模式 D. 用户模式 7. 要保证数据库的数据独立性，需要修改的是（）。 A. 模式与外模式 B. 模式与内模式 C. 三层之间的两种映射 D. 三层模式 8. 要保证数据库的逻辑数据独立性，需要修改的是（）。 A. 模式与外模式的映射 B. 模式与内模式之间的映射 C. 模式 D. 三层模式 9. 用户或应用程序看到的那部分局部逻辑结构和特征的描述是（），它是模式的逻辑子集。 A.模式 B. 物理模式 C. 子模式 D. 内模式 10.下述（）不是DBA数据库管理员的职责。 A.完整性约束说明 B. 定义数据库模式 C.数据库安全 D. 数据库管理系统设计 选择题答案： (1) C (2) A (3) D (4) C (5) B (6) A (7) C (8) A (9) C (10) D 二、简答题 １．试述数据、数据库、数据库系统、数据库管理系统的概念。 数据： 描述事物的符号记录称为数据。数据的种类有文字、图形、图象、声音、正文等等。数据与其语义是不可分的。 北京甲骨文软件有限公司咨询经理鲁百年博士 一、国内信息化的现状 1、信息化建设的发展历史： 在国内信息化建设过程中，基本上是按照当时业务系统的需求进行建设，例如：在一个企业中，财务部门为了减少工资发放的差错，提高发放的效率，先建设一个工资发放和管理程序；为了报账和核对的需求，建设一个财务管理程序；在银行首先为了业务处理的方便，将最基本的手工记帐和处理的业务建成一个系统，过一段时间，如果有新的业务推出，就再建设一个新的系统，或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。 2、为何要建立数据仓库： 前面我们讲过，业务系统各自为政，相互独立。当很多业务系统建立后，由于领导的要求和决策的需求，需要一些指标的分析，在相应的业务系统基础上再增加分析和相应的报表功能，这样每个系统就增加了报表和分析功能。但是，由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题，Bell Inman提出了数据仓库的概念，其目的是为了分析和决策的需要，将相互分离的业务系统的数据源整合在一起，可以为领导和决策层提供分析和辅助决策。 3、国内企业对数据仓库建设认识的误区： 大家对数据仓库的认识是将业务系统的数据进行数据抽取、迁移和加载（ETL），将这些数据进行整合存放在一起，统一管理，需要什么样的分析就可提供什么样的分析，这就是数据仓库。这样做的结果是花了一年到两年的时间都无法将整个企业业务系统的数据整合在一起，花钱多、见效慢、风险大。一年后领导问起数据仓库项目时，回答往往是资金不足，人力不够，再投入一些资源、或者再延长半年的时间就会见到效果，但是往往半年过后还是仅仅可以看到十几张或者几十张报表。领导不满意，项目负责人压力也很大，无法交待。这时，项目经理或者项目负责人才意识到，项目有问题，但是谁也不敢说项目有问题，因为这样显然是自己当时的决策失误。怎么办？寻找咨询公司或者一些大的厂商，答案往往是数据仓库缺乏数据模型，应该考虑数据模型。如果建设时考虑到整个企业的数据模型，就可以建设成企业级的数据仓库（EDW）。什么是数据模型，就是满足整 数据仓库设计与实现 学号 128302106 姓名江晨婷 成绩 教师张丹平 二O一五年四月 数据仓库建设方案设计与实现 摘要：本文以博士学位调查为基础，创建方案，设计与实现数据仓库，通过对当前各种主流数据仓库软件在性能、价格等方面的对比，充分考虑统计业务、单位数量等实际情况，本系统决定采用SQL Server 2005数据仓库软件来构建综合信息分析系统的数据仓库。 关键词：数据仓库；联机分析；数据挖掘；博士学位 一、概述 数据仓库的设计一般从操作型数据开始，通常需要经过以下几个处理过程；数据仓库设计——数据抽取——数据管理。 1.数据仓库设计 根据决策主题设计数据仓库结构，一般采用星型和雪花模型设计其数据模型，在设计过程中应保证数据仓库的规范化和体系各元素的必要联系。 2.数据抽取 根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源进行清理、转换、对数据进行重新组织和加工，装载到数据仓库的目标库中。 3.数据管理 数据管理分为目标数据维护和元数据维护两方面。目标数据维护是根据元数据为所定义的更新频率、更新数据项等更新计划任务来刷新数据仓库，以反映数据源的变化，且对时间相关性进行处理。元数据是数据仓库的组成部分，元数据的质量决定整个数据仓库的质量。当数据源的运行环境、结构及目标数据的维护计划发生变化时，需要修改元数据。 二、博士学位授予信息年度数据统计分析 1.按主管部门统计 从主管部门的角度，分析在一个时间段（年）内，各主管部门所授予的博士学位信息统计。可回答如“2008，由某部门主管的，博士学位授予一共有多少，其平均学习年限是多少，脱产学习的有多少人?”等问题。具有表格和图形两种方式来展示分析结果。典型报表格式如表1所示 系统设计说明书 归一大数据平台 数据仓库 系统设计说明书 修改变更记录： 目录 1引言5 1.1文档编制目的 (5) 1.2背景 (6) 1.3词汇表 (6) 1.4参考资料 (6) 2总体设计7 2.1软件体系结构 (7) 2.2系统物理结构 (7) 2.3技术路线 (8) 3系统接口设计8 3.1用户接口 (8) 4子系统/模块设计8 4.1数据仓库 (8) 4.1.1O DL(操作数据层)设计 (8) 4.1.2B DL(事物层)设计 (10) 4.1.3I DL(宽表层)设计 (11) 4.1.4P DL(应用层)设计 (12) 4.1.5P UB(维度)库设计 (15) 4.1.6业务账(数据集市)库 (16) 4.1.7数据导出设计 (16) 5数据结构与数据库设计17 6外部存储结构设计 17 7故障处理说明17 8尚需解决的问题18 编写指南： 本模板力图给出系统设计阶段可能包括的基本信息，重点在于和需求分析文档相联系。描述系统整体情况。如果某个章节在项目或当前阶段中无法描述，则可保留其标题，注明“不适用”；如果需要对本模板的个别章节详细描述，也可将其形成单独的文档，成为本文档附件。 若文档中的某个章节已经在其他项目文档中加以描述，可保留标题，注明“参见（文档编号）（文档名称）（条款）”。 形成正式文档后须删除斜体字内容。 0 报告编制要求 这里列出本系统设计报告编制的经验性要求，须由系统设计人员参照其进行裁剪以确定本次报告编制的相关规定。 1引言 1.1文档编制目的 指导开发人员进行后期的开发工作； 指导测试人员进行解决方案级的系统测试； 1.2背景 叙述系统设计阶段的目标、作用范围以及其他应向读者说明的理解本报告所需的背景，如与公司其它软件之间的联系等。 1.3词汇表 列出本系统设计说明书中专门术语的定义、英文缩写词的原词组和意义、项目组内达成一致意见的专用词汇，同时要求继承全部的先前过程中定义过的词汇。 词汇名称词汇含义备注 备注中注明该词汇的来源，或有其他更详细的解释的文档位置；以及对该词汇的其他叫法。 1.4参考资料 需求规格说明书 系统架构设计说明书 数据仓库的设计与实现 第1章数据仓库的设计与实现 1.1数据仓库设计过程 数据仓库的设计一般从操作型数据开始，通常需要经过以下几个处理过程；数据仓库设计——数据抽取——数据管理。 一、数据仓库设计 根据决策主题设计数据仓库结构，一般采用星型和雪花模型设计其数据模型，在设计过程中应保证数据仓库的规范化和体系各元素的必要联系。 二、数据抽取 根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源进行清理、转换、对数据进行重新组织和加工，装载到数据仓库的目标库中。 三、数据管理 数据管理分为目标数据维护和元数据维护两方面。目标数据维护是根据元数据为所定义的更新频率、更新数据项等更新计划任务来刷新数据仓库，以反映数据源的变化，且对时间相关性进行处理。元数据是数据仓库的组成部分，元数据的质量决定整个数据仓库的质量。当数据源的运行环境、结构及目标数据的维护计划发生变化时，需要修改元数据。 1.2需求分析与决策主题的选取 通过对管理者和各级别的用户的数据分析需求进行调研，我们收集并整理出了用户的决策分析需求如下： 1.2.1 博士学位授予信息年度数据统计分析 一、按主管部门统计 从主管部门的角度，分析在一个时间段（年）内，各主管部门所授予的博士学位信息统计。可回答如“2008，由某部门主管的，博士学位授予一共有多少，其平均学习年限是多少，脱产学习的有多少人?”等问题。具有表格和图形两种方式来展示分析结果。典型报表格式如表1所示。 表1 200__年度授予博士学位情况统计表（按主管部门统计） 表1续200__年度授予博士学位情况统计表（按主管部门统计） 二、按性质类别统计 数据仓库构建步骤 数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。 数据仓库系统的原始需求不明确，且不断变化与增加，开发者最初不能确切了解到用户的明确而详细的需求，用户所能提供的无非是需求的大的方向以及部分需求，更不能较准确地预见到以后的需求。因此，采用原型法来进行数据仓库的开发是比较合适的，因为原型法的思想是从构建系统的简单的基本框架着手，不断丰富与完善整个系统。但是，数据仓库的设计开发又不同于一般意义上的原型法，数据仓库的设计是数据驱动的。这是因为数据仓库是在现存数据库系统基础上进行开发，它着眼于有效地抽取、综合、集成和挖掘已有数据库的数据资源，服务于企业高层领导管理决策分析的需要。但需要说明的是，数据仓库系统开发是一个经过不断循环、反馈而使系统不断增长与完善的过程，这也是原型法区别于系统生命周期法的主要特点。因此，在数据仓库的开发的整个过程中，自始至终要求决策人员和开发者的共同参与和密切协作，要求保持灵活的头脑，不做或尽量少做无效工作或重复工作。 数据仓库的设计大体上可以分为以下几个步骤： ●概念模型设计； ●技术准备工作； ●逻辑模型设计； ●物理模型设计； ●数据仓库生成； ●数据仓库运行与维护。 下面我们六个主要设计步骤为主线，介绍在各个设计步骤中设计的基本内容。 第一节概念模型设计 进行概念模型设计所要完成的工作是： <1>界定系统边界 <2>确定主要的主题域及其内容 概念模型设计的成果是，在原有的数据库的基础上建立了一个较为稳固的概念模型。因为数据仓库是对原有数据库系统中的数据进行集成和重组而形成的数据集合，所以数据仓库的概念模型设计，首先要对原有数据库系统加以分析理解，看在原有的数据库系统中“有什么”、“怎样组织的”和“如何分布的”等，然后再来考虑应当如何建立数据仓库系统的概念模型。一方面，通过原有的数据库的设计文档以及在数据字典中的数据库关系模式，可以对企业现有的数据库中的内容有一个完整而清晰的认识；另一方面，数据仓库的 数据仓库模型建设规范 1.概述 数据仓库不同于日常的信息系统开发,除了遵循其他系统开发的需求、分析、设计、测试等通常的软件生命周期之外，它还涉及到企业信息数据的集成,大容量数据的阶段处理和分层存储,数据仓库的模式选择等等,因此数据仓库的模型设计异常重要,这也是关系到数据仓库项目成败的关键。 物理模型就像大厦的基础架构,就是通用的业界标准,无论是一座摩天大厦也好,还是茅草房也好,在架构师的眼里,他只是一所建筑,地基—层层建筑—封顶,这样的工序一样也不能少,关系到住户的安全,房屋的建筑质量也必须得以保证,唯一的区别是建筑的材料,地基是采用钢筋水泥还是石头,墙壁采用木质还是钢筋水泥或是砖头;当然材料和建筑细节还是会有区别的,视用户给出的成本而定;还有不可忽视的一点是,数据仓库的数据从几百GB到几十TB不等,即使支撑这些数据的RDBMS无论有多么强大,仍不可避免地要考虑数据库的物理设计。 数据仓库建模的设计目标是模型的稳定性、自适应性和可扩展性。为了做到这一点，必须坚持建模的相对独立性、业界先进性原则。 2.数聚模型架构 在数聚项目实施过程，我们一般将数据仓库系统的数据划分为如下图所示几个层次。 2.1.数据架构图 2.2.架构工作方法规范 2.3.准备层L0 2.3.1.主要数据结构 临时表：从数据源抽取，直接落地到临时表。临时表总是保存这次抽取的数据，不保留历史数据。也就是说，如果是全量抽取的话，就是源系统整个表的数据，如果 是增量抽取的话，就是自从上次修改后的数据。 接口表：从临时表，经过清洗、转换到达接口表。接口表保存历史数据，也就是说，如果是全量抽取的话，就是源系统整个表的数据，如果是增量抽取的话。 接口表里面也是源系统整个表的数据。 转换表：为了进行清洗和转换建立的中间辅助表。 2.3.2.命名规范 临时表：L0_TMP_源系统_具体业务或 L0_TMP_业务主题_具体业务（对单一源）举例：L0_TMP_POS_SALESORDER 接口表：L0_DCI_业务主题_具体业务表 举例：L0_DCI_SALES_SALESORDER 转换表：L0_MAP_具体业务表 举例：L0_MAP_SALES 2.3.3.开发工作 ●开发数据抽取接口，落地TMP区 ●开发数据清洗转换程序，落地DCI区，多源系统进行合并 ●开发数据装载程序，装载到L1层 2.4.原子层L1 2.4.1.主要数据结构 维度表：整个数据仓库一致的维度 代码表：维度属性，非维度代码等。 原子事实表：根据业务主题，形成原子事实表 汇总事实表：根据分析主题，业务主题形成合并或汇总的事实表。大数据仓库建设方案设计
数据仓库-系统设计说明书
数据库系统设计说明书
数据仓库设计的21条原则：7个步骤,7个禁忌和7种思路
数据库系统课程设计--实例
数据仓库设计的21条原则
数据库系统的设计步骤
数据仓库基本架构
数据库系统原理与设计(万常选版)整本书练习题和详细答案详细讲解
数据库系统原理与设计第2版课后习题详细答案(供参考)
数据仓库建设的几点建议.doc
数据仓库设计文档模板
数据仓库-系统设计说明书
数据仓库设计与实现
(整理)数据仓库实施步骤
数据仓库模型建设规范1.0