ETL系统的研究与实现

(1.北京交通大学电子与信息学院，北京 100044; 2.河北工业大学，天津  300130)
摘 要：文章介绍了ETL(Extract-Transform-Load)的实 现，其主要作用在于对各类业务数据进行清理、标准化和汇总，为基于数据仓库的决策分 析应用提供高质量的数据。
关键词：ETL；元数据管理；数据仓库
中图分类号：TP311  文献标识码：A  文章编号：1007—6921(2008)20—0082—01

随着全球信息一体化建设步伐的不断加快，越来越多的企业开始构建自己的数据仓库系统， 希望能对历史数据进行具体而又有针对性的分析与挖掘，以期从中发现客户新的需求和新客 户。同时，很多企业开始提供整套的数据仓库解决方案，包括ETL工具。
1 ETL系统分析

本文所设计的ETL工具对存在于不同平台上的异构数据源进行抽取，然后把数据缓冲到内存 中按照用户定义的规则进行转换，最后把转换好的数据加载到目标数据库中,主要从以下几 个方面进行考虑：
1.1 对多种数据源的支持

目前，市场上存在着各种各样的数据源，主要包括以下几种：SqlServer等数据库,XML文件, Excel文件等。所以在设计ETL工具时，要考虑让它尽可能的支持多种数据源。
1.2 可扩展性和可集成性

可扩展性主要是考虑到该软件的应用扩展，这要求对整个系统进行模块化设计，可以根据需 求动态扩展新的应用模块，并且新增模块不影响原来模块的使用，尽量减少系统的耦合。可 集成性主要考虑很多应用需要把ETL工具嵌入到各自的应用系统中，所以在设计ETL的时候， 应对整个系统的各个模块接口进行充分考虑，尽可能让各个接口进行参数化调用。
2 ETL系统设计
2.1 软件系统架构设计
软件系统架构如图1所示：

图1中，ETL工具把源数据和目标数据库分开，工具从左边的数据源抽取数据，然后清洗、转 换、加载到右边的目标数据库（一般是数据仓库或数据集市）。首先，ETL工具扫描数据源 和目标数据库的体系结构信息，并存储在元数据库中；用户在定义ETL规则时，系统从元数 据库中取得数据源和目标数据库的体系结构信息，用户在规则定义界面中进行简单拖放操作 建立从源到目的的字段映像，再定义流程中的清洗、转换规则和加载规则，定义完成后把规 则保存在元数据库中；当用户选择一个已经定义好的ETL工作，并执行时，系统从元数据库 中取得该ETL工作的抽取、清洗、转换、加载规则，并进行解析、分配到不同的线程中；当 数据处理完毕后，把本次的作业执行统计信息保存到元数据库中。

系统分为三大模块，分别为：元数据管理、用户接口、执行服务器。元数据管理的主要作用 就是扫描数据源和目标数据库的体系结构信息以及存储用户定义的ETL规则，管理元数据库 中的元数据。用户接口和执行服务器相互独立，它们之间的逻辑关系通过元数据库进行关联 ，所以用户接口和执行服务器可以分开设计和实现。
2.2 网络架构设计
网络架构如图2所示：

从图2中，我们可以看出系统的三大模块可以分布于不同的机器上，甚至可以分布在不同的 网络中，而且可以有多个客户端用户。在数据抽取、加载方面，由于ADO.NET具有穿透防火 墙的能力，所以，源数据库和目标数据库可以分布在不同的网络中。
3 总结

ETL在数据仓库构建过程中的角色，决定了它在商业领域有非常大的市场空间。在技术领域 ，ETL必须能够适应各种复杂的应用环境，具有全面的功能和高的工作效率，并方便用户使 用。今天，越来越多的企业正在构建数据仓库来满足其战略决策需要，而采用ETL工具进行 数据集成，也已成为企业实施数据仓库项目的首选方案。
［参考文献］
［1］ 楼伟进等数据仓库与知识发现［J］计算机工程与应用，2000，(10).
［2］ 柳莺，等数据仓库技术研究和应用探讨［J］计算机应用，2001，(2).
［3］ (美)贝尔松(Berson,A),等数据仓库、数据发掘和联机分析处理［M］世界 图书出版公司.

推荐访问:研究 系统 ETL