首页 > 数据库

北美数据仓库的四大常用技术

发表于2015-07-02 11:16:26| --次阅读| 来源webkfa| 作者dba

摘要:数据挖掘、数据仓库,近些年在国内越来越热、越来越流行,需求比较多,应用也比较广泛,它们常服务于商务智能活动。通俗地概括来讲,我们可将它们统称作数据分析、数据计算。

数据挖掘、数据仓库,近些年在国内越来越热、越来越流行,需求比较多,应用也比较广泛,它们常服务于商务智能活动。通俗地概括来讲,我们可将它们统称作数据分析、数据计算。

我们介绍数据仓库在商业应用,主要涉及有两个方面,一个是有关数据仓库的常用技术,另一个是有关数据仓库的应用案例。同时也涉及数据仓库的两个背景,在我们经历的北美项目中,一个主要方面属于实际的商业应用项目,另一方面属于高校的学术研究领域的项目。两者在很多方面有明显的区别。我们这里主要介绍数据仓库的商业应用,因为商业应用经验存在比较大的价值。

数据仓库的商业应用技术之一:异构数据集成技术

数据仓库是集成的,数据仓库的要素包括本身是集成的、面向主题的、只读的、历史变化的。

如下图1:

例如,应用Oracle作为数据仓库的支撑环境,它有很多数据源,是由业务生产系统源源不断产生的,可能包括DB2、SQL Server、MY SQL等等不同的源数据。

异构数据集成的方法有很多,主要包括:

1. 如果Oracle作为数据仓库是基于Windows环境的,通过MS ODBC开放数据库互联;第三方ODBC开放数据库互联,如Data Direct Connect for ODBC;专用数据网关,如Transpatent Gateway;

2. 如果Oracle作为数据仓库是基于Unix或Linux环境的,通过Unix ODBC开放数据库互联;专用数据网关等。

3. 通过外部文件到数据库的导出和导入。

数据仓库的商业应用技术之二:数据的ETL抽取、变换、载入技术

1. 三层ETL体系

我们将数据的抽取、变换、载入技术称为ETL技术。ETL技术中,按要素分为三层,即元数据层、数据操纵层、数据存储层,三层交互作用。ETL工作首先需要在元数据层定义和构建,同时也涉及到有关数据存储的方式定义;基于元数据层的对象,ETL工作在数据操纵层对数据进行实际操作,并把数据载入到数据存储层;ETL工作还需要在数据存储层做一些必要的数据管理和优化工作。这就形成了ETL数据操纵的三层体系,如下图。

元数据 -> 数据操作层 -> 数据存储层。

2. ETL递进式数据演变

ETL数据变换在实际项目中有很多的方法,很多阶段,在此我们根据经验分为4个阶段为:

LANDING:抽取数据到Landing层中。

STAGING:根据我们业务的要求进行数据变换到Staging层中。

DATA CENTER:再根据需求设计放在Data Center层(也是EDW企业级数据仓库)中。

DATA MART:最后根据主题存放在Data Mart层中,如下图。

3. 并行ETL架构

并行处理技术也是数据库的一项核心技术,它可以提高ETL过程中在数据层处理的执行效率,将大量的查询过程分布到多个节点上同时执行。一个并行处理体系结构的数据仓库系统,不仅应该确保底层硬件平台的所有资源都得充分利用,而且应该能够将这些资源适当分配给多个并发请求,以提高数据层的并发处理能力,如下图。

4. ETL任务调度及备份

ETL任务调度(Scheduling Tasks)很重要,需要实时的备份。常用的ETL任务调度工具(Scheduling Tools)有:

Unix scripts:Corn有比较稳定的可靠性。

Database Management Tool:Oracle Enterprise Manager

Third Party Tool:Control-M专用工具,专门为数据仓库完成任务,主要做ETL的Scheduling。

ETL任务调度备份方法有很多,如:

Scheduling Backup:Control-M as Master,

Unix Corn as Backup.

这样,相当于做了两个Scheduling设计,互为备份。

数据仓库的商业应用技术之三:数据仓库的架构技术

1. 多层次企业级数据仓库:DataMart-> EDW

在这个数据仓库架构的模型中,左边的是数据源通过变换到数据集市中,然后从数据集市再到企业级数据仓库(EDW)中,最后直接给终端用户使用。多层次主要体现在ETL和数据集成上,这个方法的优点在于建立了多个数据集市,它体现了一个分布式集成的概念,很大程度降低了企业级数据仓库建设的风险,更减少了资源投入,如下图。

2. 多层次企业级数据仓库: EDW -> DataMart

这个模型一开始就设计它的企业级数据仓库(EDW),这种方法针对于一些涵盖了多个业务系统、面向不同用户的需求、针对数据平台也不一样的企业,例如:银行。用这个方法,把所有的业务系统考虑入内,通常考虑整体设计,然后再分发出去。DataMart划分方法有很多种。它的优点是集成度比较好,总体设计一开始就把所有的数据源都放到企业级数据仓库。缺点是风险高,投入也相对很高,如下图。

通常来说,实际项目中采用第一种方法的比较多。

3. 近实时的数据仓库

数据仓库是动态的,是随时间变化的。应用数据仓库,我们可以每天、每个月、每年分段来调取数据,如下图。

近实时(Near Real Time)的要求是比较高的,例如我们建立了一个数据仓库是全球性的,数据仓库中心在多伦多,数据源分布在很多地方如北美、欧洲,它需要一个近实时的操作系统。近实时的概念是操作系统和业务系统产生的数据,在一小时之内完成所有ETL任务,最后进入数据仓库。它对数据源的业务系统有比较高的要求,如数据的稳定性、可靠性、网络传输速率等,同时也涵盖了很多方面的专门技术来解决实时性。

4. 后复合数据集市

由于业务的扩展,企业增加了一个新的生产系统,从而诞生了新的数据源。我们需要建立一个新的数据源(New Data Source)通过ETL工作集成到数据集市(DMART)中,并与企业级数据仓库(EDW)结合到一起,最后提供给终端用户,如下图。

数据仓库的商业应用技术之四:数据仓库的优化技术

数据仓库优化包括很多内容,包括数据库实例优化、数据库的设计优化、数据仓库设计(建模)优化、数据存储优化、存储过程优化、中间层支持优化、应用支持优化(智能报表、即时查询、数据挖掘等应用)。

数据仓库的客户有两个常见要求,一个要求是快,还有一个要求是稳定。快有很多方面,在核心的数据库,有太多的因素影响速度,所以优化时要各个方面都要考虑。

1. 数据仓库设计(建模)优化

在设计的时候有很多的情况发生,在这里重点提一点,数据仓库还要考虑一个时间的因素,有的时候开始设计的时候性能非常好,但随着系统长时间的运行,发生了很多无法解决的、由设计造成的问题,如性能问题。曾经有欧洲的一家汽车企业,设计师对数据仓库的模型设计想法非常好,但是不适宜一个长时间的运行,数据增长以后性能大幅下降,数据运行可能会非常的慢,到了无法容忍的地步,结果导致运行两年以后就不行了。想要再进行结构修改也不可行了,必须要全部重来。

2. 数据存储优化

数据存储优化主要是如何尽量减小存储空间和提升性能。这点很重要,数据仓库往往都是牺牲空间来提升速度。但是也需要优化,很多问题在一些小的数据仓库系统可能都不存在,但是在比较大型的数据仓库系统中就会出现了。数据仓库数据不断增加,当使用时间比较长之后就会造成数据量过大、性能会大幅下降,为了避免这样的情况,我们在开始设计时,就要考虑到后续的使用,需要进行数据存储优化,主要包括:

Data Block Design:基本存储单位的设计。

Table Spacing:表空间的设计。

Table Partitioning:表空间的优化。

Indexing:索引的设计。

Index Partitioning:索引优化。

Data Compressing:数据压缩(同时会牺牲一些性能)。

3. 存储过程优化:就是后台的一些存储过程的优化。

4. 中间层支持优化:WEB SERVER之类的系统优化。

5. 应用支持优化:主要有智能报表、即时查询、数据挖掘等应用,也就是前台的一些应用也是需要优化的。一个REQUEST发出去,返回的RESULT,这个过程是有很多的步骤,也是需要进行优化处理的。

另外,还需要在一些方面对数据仓库进行优化,如:异构数据库互联优化。异构数据库互联,做数据仓库第一步就会碰到,数据仓库肯定有很多不同的数据源。具体如下图所示。

上述例子就比较复杂,既有不同数据库,又有不同操作系统。异构数据库互联优化的案例:

A、文件导出导入 -〉开放数据库互联

由文件导出导入方案改为开放数据库互联方案,可优化异构数据库互联的性能。例如:Windows ODBC, Unix ODBC,性能和可控性上肯定会比较好一点,但是有的时候并不是这样简单的要求,还需要考虑数据安全性的要求。例如某些情况下,条件不允许做数据库的互联。还有业务系统的健壮性能也要考虑。

B、通用ODBC -〉第三方专用ODBC

由ODBC方案改为第三方专用ODBC方案,可优化异构数据库互联的性能。例如: MS ODBC -> Data Direct ODBC。

C、开放数据库互联-〉专用数据网关

由ODBC方案改为专用数据网关方案,可优化异构数据库互联的性能。例如: MS ODBC -> Transparent Gateway。
 

相关文章

猜你喜欢

学到老在线代码浏览器 关闭浏览
友情链接: hao123 360导航 搜狗网址导航 114啦网址导航 博客大全
Copyright © 1999-2014, WEBKFA.COM, All Rights Reserved  京ICP备14034497号-1