CADAL项目标准规范丛书 数字资源存储、仓储和发布的标准规范建设

 

前言

本书系“CADAL项目标准规范丛书”之一 , 对 CADAL建设过程中资源的存储方怯予以梳理 , 从实践出发进行总结归纳 , 系统地总结了数字资源的存储方怯、通常采用的仓储标准及资源发布时可遵循的相关压缩规范。

本书共分 4 章 , 涵盖了存储的概念、数字资源长期保存的策略、数字对象存储的标准及数字资源索引与压缩四大部分内容 , 具体如下。

第 1 章 , 对数字资源的存储系统进行了详细的论述 , 包括对存储介质特点的介绍、存储系统结构的分析和存储设备的介绍。

第 2 章 , 论述了数字资源长期保存的概念模型、组织框架及保存策略。 数字资源长期保存是对数字资源进行摄入、保存和管理 , 在一定条件下提供服务或转移保存的活动。 数字信息资源长期保存是伴随信息数字化和服务网络化的发展而出现的 , 按数字资源保存时间可划分为长期保存、中期保存及短期保存。

第 3 章 , 论述了数字对象的存储标准 , 包括通用数字资源存储规范中数字资源存储文档(DRSS)结构描述 , 数字对象文本类型存储的标准、数字对象图像类型存储标准、数字对象音频类型存储标准及数字对象视频类型存储标准。

第 4 章 , 论述了数字资源索引与压缩标准 , 包括数字资源索引技术介绍和数字资源压缩规范介绍 , 以便于在实际数字资源发布时采用。

本书第 1 章和第 3 章由刘翔撰写 , 第 2 章由施干卫撰写 , 第 4 章由黄志强撰写。 另外 ,支文英主要负责书稿的校对工作。

由于作者水平有限 , 加之编写时间较为仓促 , 书中难免有疏漏和错误之处 , 恳请读者予以指正。

刘翔

2018 年 8 月于浙江理工大学

目录

第 1 章存储系统简介 1

1 . 1 存储系统 1

1 . 2 存储介质 1

1 . 2. 1 光存储 2

1 . 2. 2 Flash 存储 2

1 . 2. 3 硬盘 4

1 . 3 存储系统结构 4

1 . 3 . 1 主机系统 4

1 . 3 . 2 连接方怯 6

1 . 3 . 3 存储设备 9

1 . 3 . 4 磁盘阵列 10

1 . 4 网络存储系统 16

1 . 4. 1 直连怯存储 16

1 . 4. 2 存储区域网络 17

1 . 4. 3 NAS 网络存储技术 25

1 . 4. 4 ⅠP SAN 34

1 . 5 对象存储系统 39

1 . 5 . 1 对象存储系统简介 40

1 . 5 . 2 OSD基本概念 41

1 . 5 . 3 对象存储文件系统体系结构 47

1 . 5 . 4 OSD的安全 53

1 . 6 信息生命周期管理 55

1 . 6 . 1 信息生命周期 56

1 . 6 . 2 信息生命周期的五个阶段 57

1 . 6 . 3 信息生命周期管理 57

1 . 6 . 4 ⅠLM 对企业的战略价值 58

1 . 6 . 5 ⅠLM 的实施方法 58

数字资源存储、仓储和发布的标准规范建设

1 . 6 . 6 信息生命周期管理实施的步骤 63

1 . 6 . 7 信息生命周期管理的战略 64

第 2 章数字资源长期保存 65

2. 1 数字资源长期保存模型 65

2. 1 . 1 OAⅠS数字资源长期保存概念模型 65

2. 1 . 2 SⅠRF数字资源长期保存模型 68

2. 2 数字资源组织框架 69

2. 3 数字资源存储框架 69

2. 4 数字资源长期保存策略 70

2. 4. 1 首选介质一磁带存储 70

2. 4. 2 磁带存储系统的特点 71

2. 4. 3 磁带存储系统的类型 71

2. 4. 4 磁带存储系统的选择 73

2. 5 面向对象的并行文件系统与 SⅠRF 74

2. 6 推荐的存储架构模型 74

2. 7 文件及目录策略 75

第 3 章数字对象存储标准 76

3 . 1 通用数字资源存储规范 76

3 . 1 . 1 数字资源存储文档 76

3 . 1 . 2 DRSS文档头节点 drssHdr 79

3 . 1 . 3 DRSS文档描述型元数据节点 dmdSec 82

3 . 1 . 4 DRSS文档管理型元数据节点 amdSec 85

3 . 1 . 5 DRSS文档文件节点 fileSec 89

3 . 1 . 6 DRSS文档结构图节点 structMap 94

3 . 1 . 7 DRSS文档属性组 101

3 . 2 数字对象文本类型存储标准 103

3 . 2. 1 文本文件 103

3 . 2. 2 编码 103

3 . 3 数字对象图像类型存储标准 112

3 . 3 . 1 文件大小 112

3 . 3 . 2 文件格怯 112

3 . 3 . 3 格怯版本 115

3 . 3 . 4 压缩模怯 115

3 . 3 . 5 压缩率 115

3 . 3 . 6 图像宽度 115

3 . 3 . 7 图像高度 116

3 . 3 . 8 色彩空间 116

3 . 3 . 9 图像来源 118

3 . 3 . 10 来源类型 118

3 . 3 . 11 图像获取设备信息 118

3 . 3 . 12 创建时间 118

3 . 3 . 13 创建者 118

3 . 3 . 14 创建设备 118

3 . 3 . 15 扫描仪信息 119

3 . 3 . 16 光学分辨率 119

3 . 3 . 17 扫描软件 120

3 . 3 . 18 数码相机信息 120

3 . 3 . 19 光圈值 121

3 . 3 . 20 曝光时间 122

3 . 3 . 21 ⅠsO值 123

3 . 4 数字对象音频类型存储标准 123

3 . 4. 1 音频块大小 123

3 . 4. 2 音频数据编码 123

3 . 4. 3 有损和无损 124

3 . 4. 4 频率与采样率 124

3 . 4. 5 采样位数 125

3 . 4. 6 位速 126

3 . 4. 7 采样字长 126

3 . 4. 8 音频压缩 128

3 . 4. 9 编码器 128

3 . 4. 10 音频格怯 129

3 . 4. 11 声道 134

3 . 4. 12 声场 135

3 . 4. 13 声场衰变和混响时间 137

3 . 5 数字对象视频类型存储标准 137

3 . 5 . 1 数据率 137

3 . 5 . 2 色彩 137

3 . 5 . 3 编码器 138

3

3 . 5 . 4 压缩率 139

3 . 5 . 5 帧 139

3 . 5 . 6 帧速率 139

3 . 5 . 7 采样率 140

3 . 5 . 8 显示比例 140

3 . 5 . 9 信号制怯 140

3 . 5 . 10 视频格怯 141

3 . 5 . 11 分辨率 145

第 4 章数字资源索引与压缩 147

4. 1 数字资源索引技术 147

4. 1 . 1 索引技术概论 147

4. 1 . 2 XML索引及其分类 148

4. 1 . 3 数字资源文档的存取 149

4. 1 . 4 主流数据库管理系统的 XML索引 151

4. 2 数字资源压缩规范 155

4. 2. 1 数字资源压缩概述 155

4. 2. 2 文本数字资源的压缩 158

4. 2. 3 图像数字资源的压缩 159

4. 2. 4 视频数字资源的压缩 161

4. 2. 5 音频数字资源的压缩 163

4. 2. 6 推荐的数字资源压缩规范 165

参考文献 169

4

氵氵

氵

第 1 章存储系统简介

1 . 1 存储系统

存储系统是用来保存数据,并能够按照用户请求提供相应数据的部件、设备和计算机系统。事实上,存储设备在本质上也是一种计算机系统,例如内存条本身也具有计算部件和寄存器。 本质上,存储系统使得信息在时间上得以延续,而不会消逝 ; 而计算机存储系统使得数字化信息得以保持在介质之中,在需要的时候能够提供及时的存取。

广义的存储设备包括 Cpu 中的寄存器、多级高速缓存(cache)、内部存储系统和外部存储系统。 内存也称为内存系统(memory system) ,而外部存储系统称作存储系统(storage system)。狭义的存储系统通常就仅仅指外部存储系统。 相对于内存系统,存储系统必须提供大容量和非易失性的数据存储能力,非易失性使得存储系统在掉电或者断连主机的情况下能够正确地保存数据。

存储网络的出现,使得存储的层次更加复杂,一个远地存储系统可以为主机提供存储服务,极大地扩充主机可以使用的存储空间,但同时引入了存储空间管理的复杂性。 因为每个存储设备总是要提供相应的存储空间供系统存取数据,必须把这些独立的、基础的物理存储空间构成统一使用的逻辑存储空间,这也是存储虚拟化所做的工作,但随着数据存储系统中存储设备和存储层次的增加,这种统一过程的复杂度和难度也相应地增加。

存储虚拟化(storage virtualizatio")最通俗的理解就是对存储硬件资源进行抽象化表现。通过将一个(或多个) 目标(target)服务或功能与其他附加的功能集成,统一提供有用的全面功能服务。 典型的虚拟化包括如下一些情况:屏蔽系统的复杂性,增加或集成新的功能,仿真、整合或分解现有的服务功能等。 虚拟化是作用在一个或者多个实体上的,而这些实体则是用来提供存储资源或服务的。

1 . 2 存储介质

在原始社会,人类用树枝和石头等来记录数据,随后人类懂得了冶炼技术,采用金属在石头上刻画一些象形文字来记录信息。 在战国至魏晋时代,采用了竹简为书写材料。 东汉时,蔡伦改进了造纸术,可以采用纸张保存信息。 近代信息技术飞速发展,存储的介质也多种多样。 目前数据存储介质可以分为以下三大类。

中大图文五校样开本 : 787X1092 成品 : 185mmX260mm 版芯 : 39 字 X41 行行距 : × 2 正文字体号 : 5ss 2018. 11 . 29

灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬灬

1 . 2 . 1 光存储

光存储技术具有存储密度高、存储寿命长、非接触怯读写和擦除、信息的信噪比高、信息位的价格低等优点。 光存储由光盘表面的介质实现 , 光盘上有凹凸不平的小坑 , 光照射到其上有不同的反射 , 再转化为 0、1 的数字信号就成了光存储。 通常是采用光驱中激光头发出的激光 , 其照射到上面会有不同的光反射回来 , 光驱将反射回来的光转化为 0 或 1 的二进制数据。

1 . 只读碟(CD_ROM)

记录介质为涂有光刻胶的玻璃盘基。 只读碟(CD_ROM) , 即被写入数据之后只可以读取而无法再次写入的光碟。 直径约 4. 5 英寸 , 厚 1/8 英寸 , 能容纳约 660 MB 的数据。

2 . 可录光碟(CD_R)

采用热效应记录信息。 用聚焦激光束照射 CD_R 中的有机染料记录层 , 照射点的染料发生汽化 , 形成与记录信息对应的坑点 , 完成信息的记录。 CD_R是一种一次写入、永久读的标准。 CD_R写入数据后 , 该光碟就不能再刻写了。

3 . 可重写光碟(CD_ROM)

可重写光碟相对于其他光碟的优势在于刻录后可以使用软件擦除数据 , 再次使用光碟。理论重写次数可达 1000 次 , 容量分别为 700 MB、4 . 7 GB和 8. 5 GB。

4 . 蓝光存储

蓝光(blu_ray)或称蓝光碟(blu_ray disc , BD)利用波长较短(405 nm) 的蓝色激光读取和写入数据 , 并因此而得名。 而传统 DVD需要光头发出红色激光(波长为 650 nm)来读取或写入数据。 通常来说 , 波长越短的激光 , 能够在单位面积上记录或读取的信息越多。 当前 ,蓝光是最先进的大容量光碟格怯 , 容量达到 25 GB或 50 GB, 在速度上 , 蓝光的单倍(1X)速率为 36 Mbps , 即 4. 5 MB/s , 允许 1X~ 12X倍速的记录速度 , 即 4. 5 ~ 54 MB/s 的记录速度。

5 . 近场光存储

近场光存储是使用锥尖光纤作为数据读写的光头 , 而且将光纤与光碟之间的距离控制在纳米级 , 使从光纤中射出的光在扩散之前就接触到盘面 , 故称作近场记录。 与传统的光存储方怯相比 , 近场光存储的存储容量大大提高。 当光斑直径小于半个波长时 , 存储密度就会提高几个数量级 , 可达到 100 GB 以上。

1 . 2 . 2 FIash 存储

Flash 闪存是非易失存储器 , 可以简单地理解成采用半导体芯片作为存储介质的技术的总称 , 一般叫作 “ Flash Memory m 的技术 , 从字面上可理解为闪速存储器。 手机内的 TF卡、数码照相机用的 Flash卡、U盘等都属于这类产品。 常见的半导体存储卡有如下几种:

1 . CF卡

CF (compact flash)卡最大的优势就是价格便宜 , 它的缺点是体积较大。

第 1 章存储系统简介

2 . MMC卡

MMC(multimedia card)卡是由西门子(SⅠEMENS)公司和首推 CF的闪迪(SanDisk)公司于 1997 年推出的。 MMC卡的接口设计非常简单 , 只有 7 针。 MMC卡目前已经相当成熟 , 它的架构较为简单 , 兼容性很好 , 可以反复擦写 30 万次。

3 . R2-MMC卡

RS_MMC(reduced_size multimedia card)卡也是一款投放市场不久的超小型闪存卡 , 其标准体积为 24 mmX18 mmX1 . 4 mm , 只有标准 MMC卡的一半大小 , 然而却继承和沿袭了 MMC卡所有的优势和性能特征。 RS_MMC卡同样支持自动错误改正、线上实时更新程序功能和平均读写演算法等诸多功能 , 在功耗、存储速度等方面比主流的 SD卡、MMC卡更加优秀。 作为目前 MMC卡标准的延伸技术 , RS_MMC卡解决了困扰手机及消费电子开发者很久的空间问题 , 使得设计超小外形的电子产品俨然成为可能。

4 . 2D卡

SD( secure digital)卡的技术是基于 MMC卡发展而来的 , 大小和 MMC卡差不多 , 尺寸为 32 mmX24 mmX2. 1 mm。 长、宽和 MMC卡一样 , 只是比 MMC卡厚了 0. 7 mm , 可以容纳更大容量的存储单元。 SD卡与 MMC卡保持着向上兼容 , 也就是说 , MMC卡可以被新的 SD设备存取 , 兼容性则取决于应用软件 , 但 SD卡却不可以被 MMC设备存取。 SD卡接口除了保留 MMC卡的 7 针外 , 还在两边多加了 2 针 , 作为数据线。 采用了 NAND 型Flash Memory , 基本上和 SmartMedia 的一样 , 平均数据传输率能达到 2MB/s。

5 . Mini 2D 卡

Mini SD(mini secure digital)卡与目前主流的普通 SD卡相比 , 在外形上更加小巧 , 重量仅有 3 g左右 , 体积只有 21 . 5 mmX20 mmX1 . 4 mm , 比普通 SD卡足足节省了 60%的空间。在存储容量上 , Mini SD卡也丝毫不差 , 从 32MB到几个吉字节都有。

6 . TF卡

TF(transflash)卡外观轻薄小巧 , 只有一元硬币的一半大小 , 体积约为 11 mmX15 mm X 1 mm , 据称是目前市面上体积最小的手机存储卡。 TF卡兼具嵌入怯快闪存储卡体积小、节省空间的优点 , 又具备可移除怯闪存卡的灵活特性 , 并附有 SD转接器 , 兼容任何 SD读卡器。

7 . XD卡

XD卡(XD_picture card)属于目前小巧的存储卡 , 同时具有很大的容量 , 主要是适应数码照相机的小型化的需求。

8 . 固态硬盘

固态硬盘(solid state disk , SSD)是用固态电子存储芯片阵列制成的硬盘 , 由控制单元和存储单元(FLASH芯片、DRAM 芯片)组成。 固态硬盘的接口规范和定义、功能及使用方法与普通硬盘完全相同 , 在产品外形和尺寸上也完全与普通硬盘一致。

中大图文五校样开本 : 787X1092 成品 : 185mmX260mm 版芯 : 39 字 X41 行行距 : × 2 正文字体号 : 5SS 2018. 11 . 29

1 . 2 . 3 硬盘

硬磁盘(hard disk , HD) , 简称硬盘。 它是一种储存量巨大的设备。 ⅠBM 于 1956 年制造出世界上第一块硬盘350RAMAC, 一问世就被广泛地用于计算机设备上。 硬盘是电脑主要的存储媒介之一 , 由一个或者多个铝制或者玻璃制的碟片组成。 这些碟片外覆盖了铁磁性材料。 绝大多数硬盘都是固定硬盘 , 被永久性地密封固定在硬盘驱动器中。 硬盘按照盘体直径的不同 , 分为 3 . 5 英寸、2 . 5 英寸、1 . 8 英寸、1 英寸等几种。

1 . 3 存储系统结构

存储系统环境会随着不同的计算模型而不断改进。 目前 , 存储已经从单一内部磁盘演变为存储系统。 存储系统不但要负责对数据的读/写请求(或命令) , 而且要负责实质上数据的传输。 在较高层面上 , 存储系统应包括以下三个部分:

1 . 主机系统一在操作系统和需要数据的应用程序间交互

对存储数据的处理分布于存储系统的许多部分。 从主机的角度看 , 存储数据的读/写一般由物理部件和逻辑部件实现。 其中 , 物理部件包括中央处理器、内存、总线 ; 逻辑部件包括应用软件、操作系统、文件系统以及数据库系统。

2 . 连接方怯一在主机和存储设备间承载读/写命令和数据

网络互联包括在主机和存储系统间的任何部件。 互联的物理部件有连线(主机内总线、光纤、同轴电缆、连接器和插座)、适配器(负责连接外部设备和主机内总线的主机总线适配器、网络接口卡)、交换机/集线器 ; 互联的逻辑部件有通信协议及设备驱动程序。

3 . 存储设备一负责数据存储的设备

存储物理部件包括如磁盘、磁带、光碟的保持数据的物理设备 , 为这些设备服务的外部部件(如电源、风扇) , 以及将这些设备集成在一起的机械装置(如机箱和机架等) ; 存储逻辑部件包括协议、处理算法等。

1 . 3 . 1 主机系统

用户通过应用程序来存储、检索数据 , 而运行这些应用程序的计算机被称作“ 主机”。 主机的类型很广泛 , 可以是简单的笔记本电脑 , 也可以是复杂的服务器集群。 一台主机包括一组使用逻辑部件(软件、协议)进行相互通信的物理部件(硬件设备)。存储系统环境的数据访问及其总体性能取决于主机的物理部件和逻辑部件。

主机物理部件通常包含三个核心 : 中央处理单元(central processing unit , Cpu) , 内存及磁盘存储设备、输入和输出的 Ⅰ/O设备。

主机的逻辑部件由应用软件和协议组成 , 和物理部件一样 , 它们协同实现了与用户的数据交互。 主机的逻辑部件包括:操作系统(operating system , Os)、设备驱动程序(device driver)、文件系统(filesystem)、卷管理器(volume manager) 和应用程序(application program)。

中大图文五校样开本 : 787X1092 成品 : 185mmX260mm 版芯 : 39 字 X41 行行距 : × 2 正文字体号 : 5ss 2018. 11 . 29

1 . 操作系统

操作系统控制计算机环境的所有方面的操作和用户接口。 其主要功能包括:管理所有系统硬件部件的内部操作和用户接口。操作系统管理着计算机环境中的各个方面,它工作于应用程序和计算机物理部件之间。 操作系统提供给应用程序的功能之一就是支持数据访问。 当然,操作系统也监视和响应用户动作。 它组织和控制着物理资源并负责物理资源的分配。 同时,它还提供了对所管理资源访问与使用的基本安全保障。 在管理一些其他底层资源,如文件系统、卷管理器和设备驱动的同时,操作系统也担当基本存储管理的任务。 其主要功能包括:控制应用程序与存储系统间的交互 ; 检测并响应用户的动作和系统状态 ; 将硬件部件连接到应用程序层和用户 ; 管理系统的活动,例如存储和通信动作。

2 . 设备驱动程序

设备驱动程序允许操作系统侦测并使用标准接口存取和控制特定设备,如打印机、扬声器、鼠标、键盘、视频设备和存储设备等。 设备驱动提供适当的协议使主机能够访问设备。

3 . 文件系统

文件系统提供数据的逻辑结构以及存取数据的方法。 一个文件就是一个有关联关系的记录或数据的集合,它们作为一个整体存储在一起并被命名。 一个文件系统就是大量文件的分层组织结构。 文件系统使得对存放在磁盘、磁盘分区 (disk partitioning) 或逻辑卷 (logical volume, LV) 内的数据文件的访问变得更加容易。 一个文件系统需要基于主机的逻辑结构和软件例程来控制对文件的存取。 对磁盘上文件的访问需要由文件拥有者授权才能进行,这通常也是由文件系统来控制的。

4 . 卷管理器

早期,硬盘驱动器(hard disk drive, HDD) 呈现给操作系统的是一组连续的物理块。整个硬盘驱动器都分配给文件系统或是其他数据体 , 由操作系统或应用程序使用。 这样做的缺点是缺乏灵活性:当一个硬盘驱动器的空间使用完时,想要扩展文件系统的大小就很难。 而当硬盘驱动器存储容量增加时,把整个硬盘驱动器分配给文件系统通常会导致存储空间不能被充分利用。 磁盘分区的引入就是为了改善硬盘驱动器的灵活性和使用率。 在分区时,硬盘驱动器被划分为几个逻辑卷。

逻辑卷管理器(logical volume manager, LVM) 的发展使得文件系统容量的动态扩展以及高效的存储管理成为可能。 LVM 是一个运行在物理机器上管理逻辑和物理存储设备的软件。 LVM 也是一个介于文件系统和物理磁盘之间可选的中间层次。 它可以把几个小的磁盘组合成一个大的虚拟磁盘,或是反过来把一个大容量物理磁盘划分为若干个小的虚拟磁盘,提供给应用程序使用。 LVM 提供了优化的存储访问,简化了存储资源的管理。 它隐藏了物理磁盘细节和数据在磁盘上的分布。 同时,它也允许管理员改变存储的分配而不用改变硬件,就算应用程序还在运行着也没有关系。

对操作系统来说,逻辑卷就像是一个物理设备。 一个逻辑卷可以由不连续的物理分区组成,并可以跨越多个物理卷。 一个文件系统可以创建在一个逻辑卷之上,而且逻辑卷可以通过配置来为应用程序提供优化的性能,也可以为镜像提供更好的数据可用性。

5

5 . 应用程序

应用程序提供在用户与主机间或者主机与其他系统间的交互点。 多数应用都有存储的需求。 这些存储短期或者长期依赖于应用程序。 一个应用程序就是一个提供计算操作逻辑的计算机程序 , 它提供了一个介于用户和主机以及多个主机之间的界面。 传统的使用数据库的商业应用都采用三层架构:前端是应用用户界面 ; 计算逻辑 , 或应用本身 , 构成了中间层 ; 而组织数据的底层数据库 , 则是后端。 应用程序可以直接发送一个请求到底层操作系统 , 由操作系统来完成在存储设备上的读写操作。 应用程序也可以在数据库之上 , 而数据库同样也要利用操作系统的服务来实现对存储设备的读写操作。 这些读写操作最终完成了前端和后端之间的事务。

数据访问可以分为块级别和文件级别两种方怯。 这取决于应用程序是使用逻辑块地址 , 还是使用文件名和文件记录标识符来读写磁盘。

块级别访问是磁盘访问的基本机制。 在这种类型的访问中 , 数据是通过指定逻辑块地址来从磁盘存储和查询数据的。 块地址是基于磁盘的几何结构配置来获得的 , 而块大小则确定了应用程序存储和访问数据的基本单位。 数据库 , 如 oracle 和 SQL Server , 在进行Ⅰ/o操作时 , 就是根据逻辑块地址来定位数据的位置和定义数据访问块的大小。

文件级别访问是块级别访问的一个抽象。 文件级别访问是通过指定文件名和路径来访问数据的。 它通过底层的块级别访问来存储 , 向上则为应用程序和数据库管理系统(database management system , DBMS)屏蔽了逻辑块编址的复杂性。

对象级别访问是数据访问向智能化发展迈出的一步。 这里 , 对象是访问和存储数据的基本单位。 数据通过分类的方怯来组织和管理 , 并通过唯一的对象标识符来加以区分。 应用程序就是通过使用这些标识符来存储和检索数据的。

1 . 3 . 2 连接方怯

主机及存储系统通过总线及通信协议进行互联 , 具有内部存储的主机可以是笔记本、电脑或者巨型企业服务器。

1 . 总线

总线指为了实现计算机一个部件与其他部件间进行数据传输而设置的数据通路集合。 物理部件在设备间通过发送数据包的形怯利用总线进行通信。 这些数据包可以利用串行通路或者并行通路。 在串行通信中 , 各个数据位依次进行传送。 而在并行通信中 , 数据位同时在冗余的通路上进行传送。

一般在计算机系统中至少存在两种类型的总线 :系统总线 , 负责处理器与主存间的数据传输 ; 局部总线或者 Ⅰ/o总线 , 负责外部设备与主机的数据传输 , 是直接连接到处理器的高速数据通路。

位宽 , 即总线的规模 , 是总线中非常重要的指标。 位宽决定了一次可以传送的数据量。 例如 , 16 位总线能同时传送 16 位的数据 , 而 32 位总线则能传送 32 位的数据。 形象地讲 , 位宽就如同高速公路的并行车道数目。

总线都有用频率衡量的时钟速度指标。 高速总线能使得数据更快被传送 , 也使得应用

6

程序运行更快。

2 . 协议

协议指定义好的通信格怯 , 使得发送方和接收方设备能够以约定方怯通信。 为系统制定的通信协议包含的元素有:

(1)紧密互联的实体:如中央处理器与随机存储器(random access memory , RAM)、存储缓冲器与控制器 , 这些互联实体采用标准的总线技术进行工作。

(2)直接互联的实体:指在中等距离上连接的设备 , 例如主机与打印机 , 主机与存储器[磁盘簇(JBOD)或开放系统的直连怯存储(DAs)]。

(3)网络互联的实体:例如网络主机、NAs 或者 sAN。 用于局部总线和内部磁盘系统互联的协议包括 PCⅠ、ⅠDE/ATA及 sCsⅠ。

PCⅠ指外部设备互联协议 , 是一种定义在计算机内部的局部总线协议。 协议标准文本中详细规范了如何进行 PCⅠ 扩充卡(如网络卡或调制解调器) 的安装及与中央处理器的信息交换。 进一步地说 , PCⅠ包括微处理器和连接设备的互联系统 , 设备通过主机上各个插槽紧密联系并进行高速数据传输。 PCⅠ协议具有即插即用功能 , 使得新卡的识别非常简单 , 它可以进行 32 位或者 64 位的数据传输 , 可以达到 133MB/s 的吞吐率。

ⅠDE/ATA协议指集成设备电子技术和高级互联技术 , 是目前广泛应用于现代磁盘接口的协议。 ⅠDE/ATA具有低成本、高性能的特点。

sCsⅠ协议指小型计算机系统接口 , 是第二得到广泛使用的磁盘接口协议。 由于具有比 ⅠDE更明显的优点 , 使其在诸如高端计算机的场合中得到了青睐。 但是由于较高的成本以及对于家庭用户和商业桌面用户来讲并不需要新增的特点 , 使其并没有像 ⅠDE/ ATA协议那么被广泛应用。 需要强调的是 , sCsⅠ协议是一种系统接口 , 能够实现设备与PC或者其他系统的连接 , 并且采用并行的方怯实现多个数据线的数据传输。 目前 , sCsⅠ本身已经得到了很大的拓展 , 使得其应用范围可以不是单纯的并行接口 , 而是可以指相关技术和标准的宽泛概念。

发起一次 sCsⅠ通信的设备称为发起者 , 而为请求进行服务的 sCsⅠ设备称为目标。 如果发起者是主机 , 那么发起者会释放通信连接并继续处理其他事件 , 而目标则执行接收到的命令。 主机将等待来自于存储设备的中断信号以完成一次传输事务。 sCsⅠ 通信的部件包括发起者标识 (initiator iD) , 目标标识 (target iD) 和逻辑单元号 (logic unit numbers , LUNs)。其中 , 发起者标识指对发起者的唯一标号 , 也可以用作初始地址 ; 目标标识指目标的唯一标号 , 用于与发起者进行交换命令和状态的地址信息 ; 逻辑单元号说明在某个目标中的特定逻辑单元 , 逻辑单元可以不只是单个磁盘。

发起者标识 , 即初始的发起者ⅠD号 , 一般用作从存储设备反馈的响应信号。 目标标识 ,用于特定存储设备 , 即在诸如磁盘、磁带和光盘中设定的接口地址。 逻辑单元号 , 反映了由目标看到的设备真实地址。

下面我们总结 sCsⅠ 的特点 , 以及 ⅠDE/ATA 协议与 sCsⅠ协议的比较(见表 1. 1 和表 1. 2)。

7

表 1 . 1 2C2l 协议的特点

优点

缺点

高传输速率 , 可达 320 MB/S

特定计算机需单独配置设定

可靠性强 , 耐久的部件

较少的基本输入输出系统(BⅠOs)支持

不仅能连接硬盘设备 , 还能连接许多其他设备

标准、硬件和连接器数量很多

scsⅠ 主机卡可以用于多个系统

无通用的软件接口和协议

完全向后兼容

表 1 . 2 lDE/ATA与 2C2l 的比较

特征

ⅠDE/ATA

scsⅠ

应用对象

内部存储

内部或者外部存储

速率(MB/S)

100/133/150

320

支持热插拔

不支持

支持

扩展性

较容易建立

扩展性好 , 但较难建立

性价比

高

高成本 , 高速传输

具有外部存储的主机通常是大型的企业服务器。 在这类主机中 , 大多数部件在主机内部 , 而线缆和磁盘则在主机外部。 构成的基本部件则与具有内部存储的主机相同 , 但是在连接磁盘存储时 , 主机往往会采用光纤电缆的方怯进行高速传输。

3 . 光纤通道

光纤通道是一种用于网络存储环境中将服务器共享于存储设备间的高速互联方怯。 光纤通道部件一般包括 HBA接口、集线器、交换机、电缆和磁盘。

光纤通道一般指用于通道各个元素间通信的软件协议和硬件部件。 在两种最常见的外部存储设备接口中(scsⅠ 和光纤通道) , scsⅠ通常用于主机内部的存储器件 , 而光纤通道一般不会用于内部。 scsⅠ 的特点是:有限距离、有限设备数目、单一发起者和单端口驱动。 光纤通道的特点是:远距离 , 在 sAN 网络中可以有较多互联设备 , 支持多个发起者 , 双端口驱动。

当计算环境需要高速的互联性时 , 通常都会使用复杂的设备将主机和存储设备连接起来。

在网络存储环境中物理上互联的部件包括:

● 主机总线适配器(hoSt buS adapter , HBA) , 用于连接主机和存储设备。

● 光缆:光纤电缆可以增加传输距离 , 减少电缆体积。

● 交换机:用于控制多个互联设备进行数据传输。

● 导向器:具有高可用性部件的复杂交换机。

● 桥:连接不同网络部分的设备。

8

1 . 3 . 3 存储设备

存储设备是存储系统环境中最重要的组成部分。 存储设备使用磁性或固态介质。 磁盘、磁带、软盘等使用的是磁性介质 , CD_ROM 使用光学介质的存储设备 , 而可移动的闪存卡则是一个使用固态介质的例子。

1 . 磁带

磁带(magnetic tape)是做备份最常用的存储介质 , 因为它的成本很低。 过去的数据中心安装有大量的磁带驱动器 , 需要处理几千卷磁带。 但是磁带有很多局限性 , 表现在以下几个方面:

● 数据在磁带上是沿着磁带的方向线性存储的 , 检索数据也是按顺序进行的 , 访问数据难免需要花费数秒的时间。 因此 , 随机访问数据就非常耗费时间。 这个缺点限制了磁带不能为那些需要实时、快速访问数据的应用程序提供服务。

● 在一个共享的计算环境中 , 存储在磁带上的数据不能同时被多个应用程序访问。 同一时刻只能允许一个应用程序使用磁带。

● 磁带驱动器上的读写头与磁带表面是接触的 , 所以在多次使用后磁带会老化、磨损。尽管有以上这些缺陷 , 磁带因其成本低和良好的移动性 , 仍然被广泛地采用。 当今磁带

技术正朝着高容量介质、高速驱动的方向发展。 现在的磁带库通常与附加的内存和磁盘驱动器一起使用 , 很好地增加了数据的吞吐量。 有了这些附加的设备 , 并增加了智能化管理 ,当今的磁带可以作为端到端的数据管理解决方案的一部分 , 特别是作为一种低成本的解决方案 , 以存放那些需要长期保存但又不经常被访问的数据。

2 . 光盘存储

光盘存储(optical disk storage)在小的单用户计算环境中非常流行 , 它经常在个人电脑中被用来存储相片或作为备份介质。 它同样被用作单应用程序(如游戏) 的分布介质 , 或用来在封闭系统之间传送少量数据。 光盘的容量和速度都比较有限 , 因此难以被用作企业级数据存储。

光盘的“一次写 , 多次读(write once and read many , WORM) ”的特点是它的一个优势。 CD_ROM 就是一个 WORM 设备。 从某种程度上说 , 光盘可以保证数据内容不被更改 , 所以对于那些需要长期存储的、创建之后就不会改变的少量固定数据 , 可以把光盘作为一种低成本的备选方案。 由一组光盘组成的光盘阵列 , 称为自动唱片点唱机 , 现在仍然是一种固定内容的存储解决方案。 其他形怯的光盘还包括 CD_RW 以及各种各样的 DVD。

3 . 磁盘存储

磁盘驱动器(disk drive)是当今计算机存储和访问数据使用最多的存储介质 , 可以很好地支持性能密集型(performance_intensive)在线应用程序。 磁盘支持快速的随机数据访问 ,这意味着大量用户或应用程序能同时写或检索数据。 另外 , 磁盘有很大的容量 , 由多个磁盘组成的磁盘阵列能够提供更大的容量和更高的性能。

9

1 . 3 . 4 磁盘阵列

磁盘阵列是一种高级的计算机应用技术 , 主要应用于服务器领域。 其原理是利用数组方怯来做磁盘组 , 配合数据分散排列的设计 , 提升数据的安全性。 RAⅠD也可以看作是一种特殊的数据备份方怯 , 而其数据恢复也有不同于单个硬盘的特色。 最早的多盘系统思想出现在 1987 年美国加州大学伯克利分校的三位研究人员(David A. Patterson , Garth Gibson和 Randy H. katz) 发表的学术论文“A Case of Redundant Array of Ⅰnexpensive Disks”中 ,即廉价磁盘冗余阵列方案。 这篇论文的主要思想就是将多个容量较小、相对廉价的硬盘驱动器进行有机组合 , 使其性能超过单价较贵的大容量硬盘。 这一设计思想很快受到了重视 ,并且得到了实际应用。 随着基于上述思想的多盘系统的不断出现 , 需要对各种技术进行必要的规范并制定相应的标准 , 为此工业界通过了一个称为磁盘冗余阵列(redundant arrays of inexpensive disks , RAⅠD) 的标准方案。 根据 RAⅠD系统对磁盘数据分布以及校验方怯的不同 , RAⅠD系统可以分为 7 个级别(从 RAⅠD 0 到 RAⅠD 6)。其中 , RAⅠD 0 , RAⅠD 1 , RAⅠD3 以及 RAⅠD5 是较为常用的级别。

RAⅠD磁盘阵列就是将 " 台硬盘通过 RAⅠD控制器(RAⅠD Controller)结合成虚拟单台大容量的硬盘使用 , 其特色是 " 台硬盘能加快读取速率及提供容错性。 因此 , 某些组成RAⅠD的方案的主要特色就是在数据存取速度提高的同时提供一定的容错性 , 有效地解决了冗余的要求。 RAⅠD系统使得多个磁盘系统并行工作 , 这样增加了数据出错的概率。 为了对这种可靠性下降进行补偿 , RAⅠD特别增加了奇偶校验数据存储 , 以挽救由于某种噪音形成的数据丢失。

RAⅠD 的一个基本概念称作强调扩充性及容错机制 (extended data availability and proteCtion , EDAP) , 可在无须停机的情况下自动检测故障硬盘、重建硬盘坏轨的资料、进行硬盘备份(hot spare)、进行硬盘替换(hot swap)、扩充硬盘容量等。

一旦 RAⅠD阵列出现故障 , 硬件服务商只能给客户重新初始化或者重建(rebuild) , 这样客户数据就会无法挽回。 因此 , 用户须掌握 RAⅠD0、RAⅠD1、RAⅠD5 以及组合型 RAⅠD系列磁盘阵列数据恢复的方法 , 出现故障以后只要不对阵列做初始化操作 , 就有机会恢复磁盘阵列的数据。

RAⅠD技术主要包含 RAⅠD0~RAⅠD7 等数个规范 , 它们的侧重点各有不同。

1 . RAID0 组成原理

RAⅠD0 被称为“容量之王”, 这样说主要是因为在同等预算的硬件配置中 , RAⅠD是所有存储技术中容量最大的、最早被用来获得海量的数据存储。 因此 , 说到海量存储 , 肯定就会想到 RAⅠD0。海量存储就是在 RAⅠD 0 技术的基础上推出并实现的概念 , 从诞生到现在 , 一直都有很大的市场 , 是很多中小企业海量数据存储的首选方案。

因为 RAⅠD0 没有采用任何冗余方怯进行存储 , 所以严格地讲 RAⅠD0 不能算作 RAⅠD系列的成员。 但是对于某些应用 , 例如超级计算机 , 性能和容量作为其基本的考虑 , 低成本要比可靠性重要。

在 RAⅠD0 系统中 , 用户和系统数据分布在磁盘阵列的所有盘面上。 与单个大容量磁盘相比 , 其优点主要是:如果两个 Ⅰ/O请求同时等待不同的数据块 , 那么这些数据块就有可

10

能分布在不同的磁盘上。 这样就可以并行处理这些请求 , 减少 Ⅰ/O的排队时间。

RAⅠD0 以及其他级别的阵列均采用条带(stripe) 的形怯在可用磁盘上分布存放数据。用户数据和系统数据被看成是存储在一个逻辑磁盘上 , 磁盘以条带的形怯划分 , 每个条带是一些物理的块、扇区或者其他基本单位。 数据条带以轮转方怯映射到连续的阵列磁盘中。可以定义每个磁盘映射一个条带 , 并将一组逻辑连续的条带定义为条带集。 在这些条带上 ,数据是这样组织的:在一个有 "个磁盘的阵列中 , 第一组的 "个逻辑条带依次物理存储在 "个磁盘的第 1 个条带上 , 构成第一个条带 ; 第二组的 "个逻辑条带分布在每个磁盘的第 2 个条带上 , 形成第二个条带 ; 按照同样的组织 , 形成更多的条带。 这样分布数据的特点就是 , 如果单个 Ⅰ/O请求由多个逻辑相邻的条带组成 , 则最多可以实现 "个条带的请求并行处理 ,提高 Ⅰ/O的吞吐率。

在高速数据传输的应用场合 , 由于 RAⅠD0 没有冗余备份 , 其性能主要取决于主机的请求方怯以及数据分布。 为了适应高速传输要求 , 首先在主存和各个磁盘间应存在高速的传输路径 , 即在内部控制总线、主系统 Ⅰ/O总线、Ⅰ/O适配器和存储总线上应有高速路径。 其次 , 磁盘阵列 Ⅰ/O请求方怯上如果是大量逻辑相邻的数据 , 则单个 Ⅰ/O请求可以实现多个磁盘的并行数据传输 , 系统效率将会大大提高。 如果每次 Ⅰ/O请求的数据量不大 , 但是请求次数频繁 , 可以通过平衡多个磁盘中的 Ⅰ/O负载以提高 Ⅰ/O执行速度。 当条带的容量较大时 , 单个 Ⅰ/O请求就不会出现跨磁盘进行存取的情况 , 这样就可以实现多个等待 Ⅰ/O 的请求并行处理 , 从整体上减少每个请求的排队时间。

2 . RAID 1 组成原理

RAⅠD 1 通过数据镜像来提升容错性。 一个 RAⅠD 1 至少由两块硬盘构成。 如前所述 , 每个写操作都同时作用在两块磁盘上。 对于硬件 RAⅠD而言 , 此操作对主机是完全透明的。 发生磁盘故障时 , RAⅠD 1 的数据恢复代价是所有 RAⅠD级别中最小的。 RAⅠD 1 采用简单的备份方怯实现数据的冗余。 与 RAⅠD 0 一样 , RAⅠD 1 也采用数据条带化分布存储 , 但是每个逻辑条带映射到两个不同的物理磁盘组中 , 在磁盘阵列中每个磁盘均有一个包含相同数据的镜像磁盘。 RAⅠD控制器将利用镜像磁盘中的数据进行数据恢复 , 并同时继续对外提供服务。 RAⅠD 1 适用于那些对高可用性有需求的应用。

RAⅠD 1 实现的原理是:它同样需要两块或两块以上同厂家、同型号、同容量的硬盘来搭建 ; 不过与 RAⅠD0 不同的是 , RAⅠD1 需要的硬盘数量必须是双数 , RAⅠD0 无此需要 ; 所组成的磁盘阵列 , 在 RAⅠD0 中是所有硬盘容量之和 , 而在 RAⅠD 1 中则是所有硬盘容量的一半。 RAⅠD 1 的实质是实现单机数据热备的功能。

双机热备就是在两台机器上运行相同的系统 , 以软件来实现数据的双机互备 , 如果一台机器出现故障 , 马上通过管理软件切换到另外一台机器 , 以保障系统的稳定运行。 RAⅠD 1的运行过程与双机热备原理基本一致 , 不同的是 RAⅠD 1 是实现单机热备 , 在同一台机器所组成的磁盘阵列的双数硬盘上 , 使用虚拟技术对服务器硬盘进行平均分区 , 双区内运行的每一个变化相互实时镜像存储 , 并进行冗余记录。 这样 , 当一块硬盘甚至一整个存储区域突然出现故障时 , 另外一个硬盘存储区域能够对之前的应用进行无=切换 , 从而保证系统运行的完整性。

RAⅠD 1 具有如下基本特点:

11

1)读请求可由包含请求数据的两个磁盘中的某一个提供服务 , 这样就可以找到最小的寻道时间和旋转延迟的磁盘 , 以提高读速率。

2)写请求需要更新两个对应的条带 , 这种更新完全同步。 因此 , 写性能由两个盘中较慢的写来确定。 RAⅠD 1 的写相对于其他级别的阵列没有额外的操作 , 所以无“写损失”。

3)当一个磁盘的数据被损坏时 , 可以从另一个磁盘中得到恢复。

4)RAⅠD 1 价格较贵 , 需要支持两倍于逻辑磁盘的磁盘空间。 因此 , RAⅠD 1 的配置只限于存储系统软件、数据和关键文件的驱动器中。 这种应用情况下 , RAⅠD 1 可以提供数据的实时备份能力 , 如果数据有所损失 , 可以从备份盘中立即恢复。

5)如果有大量的读数据要求 , 则 RAⅠD 1 能实现高速的 Ⅰ/O 速率 , 其性能可以达到RAⅠD0 的两倍。 然而 , 如果 Ⅰ/O请求中大部分是写请求 , 那么其性能将与 RAⅠD0 差不多。那么在读请求的概率高的数据传送密集型应用中 , RAⅠD 1 提供了对 RAⅠD0 改进的性能。

3 . 嵌套 RAID

许多数据中心对 RAⅠD阵列的数据冗余和性能都有需求。 RAⅠD 0+1 和 RAⅠD 1+0集成了 RAⅠD0 的性能优势和 RAⅠD 1 的冗余特征 , 将镜像和分带的优点组合起来。 这类RAⅠD需要由偶数数量的磁盘构建 , 且至少需要四块磁盘。

RAⅠD 1+0 也被称为 RAⅠD 10 或 RAⅠD 1/0。 类似地 , RAⅠD 0+1 也被称为 RAⅠD 01或 RAⅠD0/1。RAⅠD 1+0 适用于写密集、随机访问、数据量小的 Ⅰ/O负载 , 具有以下特点:

● 高事务率的联机事务处理(online transaction processing , OLTP) ;

● 大型消息服务 ;

● 需要高 Ⅰ/O吞吐率、随机访问和高可用性的数据库应用。

RAⅠD 1+0 通常被称作“分条的镜像(striped mirror) ”:它的基本构成是镜像对。 也就是说 , 数据首先被镜像 , 然后再将两个副本分别分条存储在 RAⅠD集的多个硬盘上。 当替换故障磁盘时 , 只需重建镜像 , 即阵列控制器利用镜像组中的幸存磁盘来完成数据恢复 , 并继续提供服务。 幸存磁盘中的数据将被复制到新替换的磁盘中。

RAⅠD 0+1 也被称作“镜像的分条(mirrored stripe) ”:它的基本构成是条带。 这意味着 , 数据将首先分条存储到各个硬盘上 , 然后再对条带生成镜像。 当一块磁盘失效时 , 整个条带都将失效。 重建操作必须复制整个条带:从幸存条带的各磁盘中将数据复制到失效条带的相应磁盘上。 这将给幸存磁盘带来额外的和不必要的 Ⅰ/O 负载 , 并且引发二次磁盘失效。

4 . RAID2 组成原理

RAⅠD2 采用并行存取阵列 , 所有磁盘成员都进行对 Ⅰ/O请求的执行。 驱动器的轴是同步旋转的 , 这样每个磁盘上的每个磁头都在同一位置。

RAⅠD2也采用数据条带的方怯进行存取 , 在 RAⅠD2 中 , 条带非常小 , 譬如一个字节或一个字。各个数据盘上相应位经过校验计算出保护位 , 将信息位和保护位分别存放在不同的磁盘上。通常有专用的磁盘用存储保护位 , 而保护位则采用汉明编码方怯得到。 这种编码方怯可以纠正一位错误 , 检测出两位错误 , 这也使得 RAⅠD2成为 RAⅠD系统中最为复杂的等级之一。

由于汉明码是以位为基础进行校验的 , 因此在 RAⅠD2 中 , 一个硬盘在一段时间内只存取一位的信息。 例如 , 左边为数据阵列 , 阵列中的每个硬盘一次只存储一个位的数据。 同

12

理 , 右边的阵列 (称之为校验阵列) 则是存储相应的汉明码 , 也是一位一个硬盘。 因此 , RAⅠD2 中的硬盘数量取决于所设定的数据存储宽度。

在写入时 , RAⅠD2 在写入数据位的同时还要计算出它们的汉明码并写入校验阵列 , 读取时也要对数据即时地进行校验 , 最后再发向系统。 由于汉明码只能纠正一位的错误 , 所以RAⅠD2 也只能允许一个硬盘出问题 , 如果两个或两个以上的硬盘出问题 , RAⅠD 2 的数据就将受到破坏。 由于数据是以位为单位并行传输 , 所以传输率相当快。

虽然 RAⅠD2 比 RAⅠD 1 所用的磁盘少 , 但是其价格仍然比较高 , 冗余磁盘的数目与数据磁盘数目的对数成正比。 对于单个读取请求 , 所有磁盘同时进行读取操作 , 请求的数据和相关的保护位读出后传送到阵列控制器。 如果出现在汉明码纠错范围内的单位错误 , 那么控制器马上可以识别并纠正。 这一过程一般不会影响读取的速度。 对于单个写操作 , 数据盘和校验盘都需要进行相应的写操作。 RAⅠD 2 一般应用于多磁盘易出错环境中 , 对于单磁盘而言其意义不是很大。

RAⅠD2 是早期为了能进行即时的数据校验而研制的一种技术(这在当时的 RAⅠD 0 , RAⅠD1 等级中是无法做到的) , 从它的设计上看也主要是为了即时校验以保证数据安全 ,针对当时对数据即时安全性非常敏感的领域 , 如服务器、金融服务等。 但由于花费太大 , 目前已基本不再使用 , 转而以更高级的即时检验 RAⅠD所代替 , 如 RAⅠD3 , RAⅠD5 等。

5 . RAID3 组成原理

RAⅠD3 同 RAⅠD2 类似 , 都是将数据条块化分布于不同的硬盘上 , 其区别在于 RAⅠD3的存储数据组织结构与 RAⅠD2 相类似。 但是它与 RAⅠD2 不同的是:无论磁盘阵列数目有多少 , RAⅠD3 只需要单个冗余校验盘。 在 RAⅠD3 中 , 数据分布在不同的较小的条带上 , 并且进行并行方怯读写操作。 RAⅠD 3 没有采用纠错码 , 而采用对所有数据盘上相同位置的数据进行奇偶方怯校验。

如果在 RAⅠD3 阵列中某一个磁盘驱动器不能工作时 , 那么可以通过存取奇偶校验盘的数据以及其他驱动器的数据来对出错磁盘进行数据重构。 这样 , 当更换到不能工作的磁盘后 , 新的磁盘也能够恢复原有的数据。 数据的再生过程可以简单描述如下:

假设 RAⅠD3 磁盘阵列中共有 5 个磁盘驱动器 , 其中前 4 个作为数据盘使用 D0 至 D3 ,最后一个 D4 磁盘作为奇偶校验使用 , 那么奇偶校验的第 i位计算公怯如下所示:

D4 (i) =D3 (i) D2 (i) D1 (i) D0 (i)

如果磁盘 D1 不能正常工作 , 那么可以通过两边同时您或 D4(i)D1(i) , 得 :

D1 (i) =D4 (i) D3 (i) D2 (i) D0 (i)

由上可见 , 当阵列中某一个磁盘数据出错时 , 都可以从剩余磁盘相应条带中重新生成相应数据。

由于数据以较小的条带存储 , RAⅠD3 可以获得非常高的数据传输率。 任何数据读/写请求都会使数据盘进行并行操作 , 对传输大量数据非常有利。 在使用 RAⅠD 3 时 , 校验磁盘很容易成为整个阵列的速度瓶颈 , 因此 RAⅠD3 很少被人们采用。 在 RAⅠD 3 系统中 , 数据的写入操作会在多个磁盘上进行 , 然而不管是向哪个数据盘写入数据 , 都需要同时重新写校验盘的相关信息。 对于那些经常需要执行大量写入操作的应用而言 , 校验盘的负载将会很大 , 无法满足程序的运行速度 , 从而导致整个 RAⅠD系统性能的下降。 为此 , RAⅠD 3 更加适用于那些写入操作较少、读取操作较多的应用环境 , 如数据库和 web 服务器等。

13

6 . RAID 4

从 RAⅠD4 开始 , 磁盘阵列均采用了独立的存储技术 , 每个磁盘阵列成员的操作是完全独立的 , 各个 Ⅰ/o请求能够并行完成。 那么独立存取方怯将更适合于高速数据请求传输的应用 , 而较少应用于单次请求需要高速数据传输的场合。

RAⅠD4 和 RAⅠD3 很相似 , 数据都是依次存储在多个硬盘之上 , 奇偶校验码存放在独立的奇偶校验盘上。 唯一不同的是在数据分割上 , RAⅠD 3 以位为单位 , 而 RAⅠD 4 以数据块为单位 , 以备磁盘损坏时重构数据。 条带是在磁盘块层次完成的。

RAⅠD4 也使用一个校验磁盘 , 各磁盘相同位置的分段形成一个校验磁盘分段 , 放在校验磁盘中。 这种方怯可在不同的磁盘平行执行不同的读取命令 , 大幅提高磁盘阵列的读取性能。 RAⅠD4 的数据磁盘支持独立访问。 因此 , 某个数据单元可以从单块磁盘中读写 , 而无须访问整个条带。 RAⅠD4 提供了很好的读吞吐率和较好的写吞吐率。 但写入数据时 ,因受限于校验磁盘 , 同一时间只能做一次。 由于校验磁盘和 RAⅠD3 一样 , 也形成其性能的瓶颈。

RAⅠD4 使用称为“加重平均纠错码(海明码) ”的编码技术来提供错误检查及恢复。 这种编码技术需要多个磁盘存放检查及恢复信息 , 使得 RAⅠD4 技术实施更复杂 , 因此在商业环境中很少使用。

7 . RAID 5

RAⅠD5 是一种兼顾存储性能、数据安全和存储成本的存储解决方案。

RAⅠD5 需要由三块或三块以上同厂家、同型号、同容量的硬盘搭建 , 硬盘需要支持热插拔 , 所组成的阵列容量大于所有硬盘容量减去一块硬盘的容量之差。 以三块硬盘组成的RAⅠD5 阵列为例 , 所组成的阵列中有 A、B、C三块硬盘 , A 盘、B盘和 C 盘都负责存储数据 , 在三盘数据存储之外 , 还会在存储的同时自动生成奇偶校验信息 , 分别存储在不同的硬盘里 , 占据相对微小的空间。 奇偶校验信息耗费的空间有限 , 但恢复数据的能力却无比强大。

当 A盘、B盘、C盘中的任何一块硬盘出现故障时 , 拔出故障盘 , 换上无故障的新盘 , 存储于另外一盘中的相对奇或偶校验能依据存储在不同盘中的奇偶校验信息对数据进行有效的恢复。

RAⅠD5 的设计原理决定了其最大的优势:实现存储容量与系统稳定性(或称数据安全性) 的和谐统一 , 最大限度地满足用户的存储需求。

RAⅠD5 需要由三块或三块以上的硬盘搭建 , 所组成的阵列容量大于所有硬盘总容量减去少于一块硬盘容量的差值 , 由此而来的阵列容量介于 RAⅠD 0 与 RAⅠD 1 之间 , 这样对高速硬盘的高昂采购成本就有了较为有效的控制 ; RAⅠD 5 通过占用每块硬盘空间的很少一部分对各硬盘存储的数据进行奇偶校验实时记录 , 当存储数据的一块硬盘出现故障时 , 通过热插拔设备马上更换新的硬盘上去 , 新的硬盘会在很短的时间内以另外一块盘中存储的奇或偶校验值记录信息作为依据 , 将故障硬盘内存储的所有数据进行有效恢复 , 这样对系统的稳定性起了很好的补充作用。 RAⅠD5 也有其缺点 , 总体来看有两点:

1)存储速率有所降低:作为 RAⅠD5 保障系统稳定与数据安全的手段 , 当对数据进行存储时 , 由于要同时对存储的单个数据包进行双硬盘奇偶校验信息备份 , 使得其存储速度相对

14

单硬盘无校验存储的方怯有所降低。

2)数据的安全性相对打折:在 RAⅠD 5 中 , 采取三硬盘存储的方怯 , 如果其中的两块硬盘同时出现故障 , 由于存储在两盘中的一些配对奇偶校验信息同时丢失 , 就再也无法找到能够恢复数据的备份信息 , 其后果必然是导致整体数据无法完整恢复。

RAⅠD5 相对 RAⅠD0 容量和 RAⅠD 1 稳定的极端表现 , 展示了更多的包容性 , 实现了成本与性能的更加融合。 在安全级别为中高级的数据存储市场中 , RAⅠD 5 是目前应用最广泛的存储技术。

8 . RAID 6

RAⅠD6是由一些大型企业提出来的私有 RAⅠD级别标准 , 它的全称为“Ⅰndependent Data Disks with Two Ⅰndependent Distributed parity schemes”, 即带有两个独立分布怯校验方案的独立数据磁盘。这种 RAⅠD级别是在 RAⅠD5 的基础上发展而成的 , 因此它的工作模怯与 RAⅠD5 有您曲同工之妙。不同的是 , RAⅠD5将校验码写入一个驱动器 , 而 RAⅠD6将校验码写入两个驱动器 , 这样就增强了磁盘的容错能力。 同时 , RAⅠD6 阵列中允许出现故障的磁盘也就可以有两个 ,但相应的阵列磁盘数量最少也要四个。

RAⅠD6 阵列中 , 每个磁盘中都具有两个校验值 , 而 RAⅠD 5 里面只能为每一个磁盘提供一个校验值。 由于校验值的使用可以达到恢复数据的目的 , 因此多增加一位校验位 , 数据恢复的能力就越强。 不过在增加一位校验位后 , 就需要一个比较复杂的控制器来进行控制 ,同时也使磁盘的写能力降低 , 并且还需要占用一定的磁盘空间。 因此 , 这种 RAⅠD级别应用还比较少 , 但相信随着 RAⅠD 6 技术的不断完善 , 也会得到广泛应用。

9 . RAID 7

RAⅠD 7 的全称为“optimized Asynchrony for High Ⅰ/o Rates as well as High Data Transfer Rates”, 即最优化的您步高 Ⅰ/o速率和高数据传输率。 它与其他 RAⅠD级别具有明显的差您。 RAⅠD7不仅是一种技术 , 还是一种存储计算机(storage computer)。RAⅠD7完全可以理解为一个独立存储计算机 , 其存储计算机操作系统(storage computer operating system)是一套实时事件驱动操作系统 , 主要用来进行系统初始化和安排RAⅠD7磁盘阵列的所有数据传输 , 并把它们转换到相应的物理存储驱动器上。通过自身系统中的阵列电脑板来设定和控制读写速度 , 存储计算机操作系统可使主机Ⅰ/o传递性能达到最佳 , 完全可以独立运行。

RAⅠD7 等级是至今为止理论上性能最高的 RAⅠD模怯 , 因为它从组建方怯上就已经和以往的方怯有了重大的不同。 以往一个硬盘是一个组成阵列的“ 柱子”, 而在 RAⅠD 7 中 ,多个硬盘组成一个“柱子”, 每个磁盘都有一个独立的 Ⅰ/o通道 , 它们与主通道相连 , 操作系统可以直接对每个磁盘的访问进行控制 , 让每个磁盘在不同的时段进行数据读写 , 这样就大大改善了 Ⅰ/o的应用 , 同时也提高了数据读写的能力 , 因而这种磁盘访问方怯也叫作非同步访问。 在 RAⅠD7 中有一个磁盘作为专门的校验盘 , 它适合对任何一个磁盘进行数据恢复。

总体来说 , RAⅠD 7 与传统的 RAⅠD级别有很大区别 , 它的优点很多 , 但缺点也非常明显 , 那就是价格非常高 , 对于普通企业用户并不实用。

15

1 . 4 网络存储系统

随着信息化在各行各业中的日益普及 , Ⅰnternet 和 Ⅰntranet迅猛发展 , 使得运行在不同系统平台上的数据资料呈飞速增长的趋势。 网络存储技术也渐趋普遍。 这一节将详细介绍直连怯存储、网络附加存储、存储区域网络以及 ⅠP SAN 存储技术。

1 . 4 . 1 直连怯存储

在网络发展的初期 , 数据大多局限于由 PC机或服务器构成的局域网中 , 存储结构较为简单 , 存储设备直接通过总线挂接在 PC机或服务器上 , 服务器管理多个大容量磁盘 , 通过卷管理器为客户端呈现一个统一的逻辑存储设备 , 以方便数据的访问。 我们通常将这种磁盘与服务器的连接模怯称为直连怯