首页 >科技 >数据迁移

数据迁移

（离线存储与在线存储融合的技术）

数据迁移(又称分级存储管理，hierarchical storage management，hsm)是一种将离线存储与在线存储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备，然后将磁盘中常用的数据按指定的策略自动迁移到磁带库（简称带库）等二级大容量存储设备上。当需要使用这些数据时，分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。对于用户来说，上述数据迁移操作完全是透明的，只是在访问磁盘的速度上略有怠慢，而在逻辑磁盘的容量上明显感觉大大提高了。数据迁移是将很少使用或不用的文件移到辅助存储系统(如磁带或光盘)的存档过程。这些文件通常是需要在未来任何时间可进行方便访问的图像文档或历史信息。迁移工作与备份策略相结合，并且仍要求定期备份。还包括电脑数据迁移，迁移旧电脑（旧系统）中的数据、应用程序、个性化设置等到新电脑（新系统），在系统升级后很有必要。

数据迁移资料

中文名：数据迁移

别名：分级存储管理

外文名：Data Migration

方法

数据迁移可以采取不同的方法进行，归纳起来主要有三种方法，即系统切换前通过工具迁移、系统切换前采用手工录入、系统切换后通过新系统生成。

迁移(和回迁)是将文件从珍贵的高速磁盘空间移出并移到辅助高容量主媒体光盘的过程。文件在脱机时仍可用，但用户需通过网络访问它们。

该过程是通过将存档文件的名称列表保留在主媒体上实现的。当用户需要存档的文件时，他们在该目录中查找该文件，找到后像普通的文件一样打开它。随机文件从辅助存储器(光盘)上回迁到主存储器(磁盘)上。整个过程在后台发生，用户可能不知道文件已经从光盘中回迁出来。当用户处理完Q时，文件又迁回至辅助存储器中。迁移过程在某个特定的时间段后或按用户或网络管理员的意愿立即发生。

Novell NetWare高容量存储系统(HCSS)是支持脱机光盘自动换盘机存储设备的数据存档系统。光盘自动换盘机是可以从可重写光盘库中选盘的自动换盘设备。HCSS使用数据迁移技术在高速、低容量存储设备（服务器的硬盘）和低速、大容量存储设备（光盘库）之间移动文件。用户在一个特殊的目录中仍能采用文件的清单，这些文件看起来就像被联机存储一样。

HCSS系统将管理员作上标记的文件“迁移”到脱机光盘库存储设备中。如果用户需要已迁移的文件，他只需按普通方法对其进行访问。HCSS系统反向迁移文件到磁盘，用户就能对其访问。除了很短的访问延迟，用户将不会意识到访问的是归档文件。一段时间后，文件又重新迁移回光盘。^[1]

技术准备

数据转换与迁移通常包括多项工作：旧系统数据字典整理、旧系统数据质量分析、新系统数据字典整理、新旧系统数据差异分析、建立新旧系统数据之问的映射关系、开发部署数据转换与迁移程序、制定数据转换与迁移过程中的应急方案、实施旧系统数据到新系统的转换与迁移工作、检查转换与迁移后数据的完整性与正确性。

数据转换与迁移的过程大致可以分为抽取、转换、装载三个步骤。数据抽取、转换是根据新旧系统数据库的映射关系进行的，而数据差异分析是建立映射关系的前提，这其中还包括对代码数据的差异分析。转换步骤一般还要包含数据清洗的过程，数据清洗主要是针对源数据库中，对出现二义性、重复、不完整、违反业务或逻辑规则等问题的数据进行相应的清洗操作；在清洗之前需要进行数据质量分析，以找出存在问题的数据，否则数据清洗将无从谈起。数据装载是通过装载工具或自行编写的SQL程序将抽取、转换后的结果数据加载到目标数据库中。

对数据的检查包括以下6个方面。

(1)数据格式检查。检查数据的格式是否一致和可用，目标数据要求为number型。

(2)数据长度检查。检查数据的有效长度，对于char类型的字段转换到varchar类型中，需要特别关注。

(3)区间范围检查。检查数据是否包含在定义的最大值和最小值的区间中。例如年龄为300或录入日期为4000—1—1显然有问题。

(4)空值、默认值检查。检查新旧系统定义的空值、默认值是否相同，不同数据库系统对空值的定义可能不同，需要特别关注。

(5)完整性检查。检查数据的关联完整性。如记录引用的代码值是否存在，特别需要注意的是有些系统在使用一段时间后，为了提高效率而去掉了外键约束。

(6)一致性检查。检查逻辑上是否存在违反一致性的数据，特别是存在分别提交操作的系统。

工具选择

数据迁移工具的开发、部署主要有2种选择，即自主开发程序或购买成熟的产品。这2种选择都有各自不同的特点，选择时还要根据具体情况进行分析。纵观目前国内一些大型项目，在数据迁移时多是采用相对成熟的ETL产品。可以看到这些项目有一些共同特点，主要包括：迁移时有大量的历史数据、允许的宕机时间很短、面对大量的客户或用户、存在第三方系统接入、一旦失败所产生的影响面将很广。同时也应该看到，自主开发程序也被广泛地采用。

目前，许多数据库厂商都提供数据抽取工具，如Informix的InfoMover、Microsoft SQLServer的DTS和0raele的Oracle Warehouse Builder等。这些工具在一定范围内解决了数据的提取和转换。但这些工具基本都不能自动完成数据的抽取，用户还需利用这些工具编写适当的转换程序。

例如Oracle的Oracle Warehouse Builder(OWB)数据抽取工具提供的功能包括：模型构造和设计，数据提取、移动和装载，元数据管理等。但OWB提供的流程繁琐，维护很困难，不易于使用。

在第三方产品中，Ascential Software公司的DataStage是一套相对比较完善的产品。DataStage可以从多个不同的业务系统、从多个平台的数据源中抽取数据，完成转换和清洗，装载到各种系统里面，其中每步都可以在图形化工具里完成；同样可以灵活地被外部系统调度，提供专门的设计工具来设计转换规则和清洗规则等，实现了增量抽取、任务调度等多种复杂而实用的功能。其中简单的数据转换可以通过在界面上拖拉操作和调用一些DataStage预定义转换函数来实现，复杂转换可以通过编写脚本或结合其他语言的扩展来实现，并且DataStage提供调试环境，可以极大地提高开发和调试抽取、转换程序的效率。

数据抽取转换

数据抽取前，需要作大量的准备工作，具体归纳为如下4个部分。

(1)针对目标数据库中的每张数据表，根据映射关系中记录的转换加工描述，建立抽取函数。该映射关系为前期数据差异分析的结果。抽取函数的命名规则为：F_目标数据表名_E。

(2)根据抽取函数的SQL语句进行优化。可以采用的优化方式为：调整SORTAREA_SIZE和HASH_AREA_SIZE等参数设置、启动并行查询、采用提示指定优化器、创建临时表、对源数据表作ANALYZES、增加索引。

(3)建立调度控制表，包括ETL函数定义表(记录抽取函数、转换函数、清洗函数和装载函数的名称和参数)、抽取调度表(记录待调度的抽取函数)、装载调度表(记录待调度的装载信息)、抽取日志表(记录各个抽取函数调度的起始时间和结束时间以及抽取的正确或错误信息)、装载日志表(记录各个装载过程调度的起始时间和结束时间以及装载过程执行的正确或错误信息)。

(4)建立调度控制程序，根据抽取调度表动态调度抽取函数，并将抽取的数据保存入平面文件。平面文件的命名规则为：目标数据表名.txt。

数据转换的工作在ETL过程中主要体现为对源数据的清洗和代码数据的转换。数据清洗主要用于清洗源数据中的垃圾数据，可以分为抽取前清洗、抽取中清洗和抽取后清洗。ETL对源数据主要采用抽取前清洗。对代码表的转换可以考虑在抽取前转换和在抽取过程中进行转换，具体如下。

(1)针对ETL涉及的源数据库中数据表，根据数据质量分析的结果，建立数据抽取前的清洗函数。该清洗函数可由调度控制程序在数据抽取前进行统一调度，也可分散到各个抽取函数中调度。清洗函数的命名规则为：F_源数据表名_T_C。

(2)针对ETL涉及的源数据库中数据表，根据代码数据差异分析的结果，如果需要转换的代码数据值长度无变化或变化不大，考虑对源数据表中引用的代码在抽取前进行转换。抽取前转换需要建立代码转换函数，代码转换函数由调度控制程序在数据抽取前进行统一调度。代码转换函数的命名规则为：F_源数据表名_T_DM。

(3)对新旧代码编码规则差异较大的代码，考虑在抽取过程中进行转换。根据代码数据差异分析的结果，调整所有涉及该代码数据的抽取函数。

迁移后校验

在数据迁移完成后，需要对迁移后的数据进行校验。数据迁移后的校验是对迁移质量的检查，同时数据校验的结果也是判断新系统能否正式启用的重要依据。

可以通过以下2种方式对迁移后的数据进行校验：新旧系统查询数据对比检查，通过新旧系统各自的查询工具，对相同指标的数据进行查询，并比较最终的查询结果；先将新系统的数据恢复到旧系统迁移前一天的状态，然后将最后一天发生在旧系统上的业务全部补录到新系统，检查有无异常，并和旧系统比较最终产生的结果。

对迁移后的数据进行质量分析，可以通过数据质量检查工具或编写有针对性的检查程序进行检查。对迁移后数据的校验有别于迁移前历史数据的质量分析，主要是检查指标的不同。迁移后数据校验的指标主要包括5方面：完整性检查，引用的外键是否存在；一致性检查，相同含义的数据在不同位置的值是否一致；总分平衡检查，例如欠税指标的总和与分部门、分户不同数据的合计对比；记录条数检查，检查新旧数据库对应的记录条数是否一致；特殊样本数据的检查，检查同一样本在新旧数据库中是否一致。