资源管理和系统管理软件介绍（2）

3 集群系统管理
从系统组成角度说，集群系统是由多台计算机组成的超级计算机。但是从最终用户看来，集群系统是一台计算机，也就是说，集群系统的构成对用户是透明的。所以集群系统的管理的目的就是让集群系统象一台计算机一样利于管理。归纳起来，集群系统管理一般完成如下任务：

3.1 资源管理
简单地说，资源管理就是分配系统的资源和监控系统资源的使用状态。这里的资源是个很广泛的概念，各种硬件设备、数据和程序都可以看成资源：如CPU、存储、网卡，甚至系统的事件和log。

3.2 事件服务
事件(Event)就是系统的状态的一次变化。如"CPU的利用率超过90%"就可以理解为一次事件。简单的说，事件服务就是事件通知服务，也就是当一次事件发生时，通知对这类事件感兴趣的个体这个事件发生了。事件服务可以分为Push(也称为Subscribe-Publish)和Pull方式。系统管理员还应该能够通过事件服务设置系统对事件的自动响应。

3.3 分布式命令和文件
分布式命令和文件是指让命令和文件操作同时在整个集群结点或指定的一组结点上并行执行。
分布式命令功能通常通过分布式的Shell来提供。这种Shell一般叫做dsh(distributed shell)或 psh ( parallel shell)。你可以通过rsh或ssh来实现分布式Shell。
分布式文件主要用于指集群中配置文件的同步。集群系统实际上是由多个结点组成，所以对集群系统的一个配置需要发布到每个结点(或一组结点)。比如，需要配置每个结点上的Apache都支持CGI，就需要把/etc/httpd下的配置文件发布到每个结点的/etc/httpd中。简单地说，集群系统地配置管理就是把一个或多个配置文件发布到指定的结点上。有很多开放源码的工具可以帮助完成集群系统的分布式文件功能，如rdist和cfengine。

3.4 监控和诊断
对持续运行的集群系统而言，当系统正常运行时，你需要一些工具监控系统各部分的运行状态，如系统进程、CPU利用率和内存利用率等。在普通的Unix系统上，你可以简单的用ps和top实现这些功能。但是在集群系统中，你确实需要一些特殊工具，而且最好系统的监控可以支持多种网络管理协议，如SNMP和 WBEM。当集群系统工作不正常时，你则需要另外一些工具来协助系统诊断。如当系统某个不服务时，你可能需要用ping诊断是不是网络出了问题。而当时多个结点服务时，你则需要并发的ping来诊断是不是网络错误。

3.5 硬件控制
PC机上很简单的管理功能对于集群系统而言可能会很难做到。比如让一组结点重启，就很难手工完成。所以集群系统需要一些特殊的硬件设备完成这些功能。下面是几个需要硬件支持特殊管理功能：
• 远程电源管理：主要是远程关闭、打开和重启结点与查询结点电源状态。在IBM eServer Cluster 1300中采用ASM。
• 远程控制台：当远程结点出现问题或出现一些特殊的软件需要时，需要直接登录到结点上完成操作。KVM Switch可以满足这种需求，但是当结点很多时，KVM Switch就会很复杂。而且KVM Switch需要手工切换，不能通过软件方法使用。Terminal Server克服了KVM Switch的缺点。Terminal Server与结点的串口相连，并把串口虚拟成管理结点上终端设备，当然这需要对结点的操作系统做些相应的配置。

3.6 系统安装
集群系统的安装主要是指在各个结点上安装操作系统、文件系统、并行程序运行库、作业管理软件和系统管理软件等。它是集群系统投入应用的前提，所以集群系统的安装是一件非常重要的任务。一般集群系统由几十台，甚至上百上千台计算机组成，显然手工安装系统几乎是不可能的。一般集群系统的安装的机制是：
1. 网络启动：设置需要的安装的结点网络启动，然后管理结点远程重启需要安装的结点。网络启动的结点启动后从启动服务器获得一个小的操作系统内核。网络启动一般采用Intel的PXE(Pre-Execution Environment)标准。 PXELinux是支持PXE的网络启动服务器。它可以在网络启动的结点启动一个小的Linux核心并运行指定的Init程序。由Init程序负责后续的安装。
2. 网络安装：这个操作系统内核负责从安装服务器(通常是一个文件服务器)上取得安装软件包或系统镜像并在本地实施系统安装。有多种Linux工具可以完成基于网络的系统安装。这些工具中的典型代表是：KickStart、ALICE (Automatic Linux Installation and Configuration Environment)、SIS(System Install Suite)和PartImage。这些工具可以分为如下几类：

1. a. 基于Script的安装：这种安装方式中，安装过程由安装脚本(Script)控制，可以通过修改安装脚本来配置安装过程。这种安装方式中，安装服务器实际上是一个文件服务器，它向结点提供要安装的软件包。除了软件包不是来自本地外，这种安装方法和本地安装并没有太大的区别，本地安装的各个步骤(配置硬件、安装软件包、配置系统等)它都要经过。KickStart属于这中安装方法。基于Script的安装比较灵活，但是它是操作系统依赖型的。象 KickStart只支持Redhat Linux。

2. b. 基于Imaging的安装：和基于Script的安装不同，基于Imaging的安装并不需要经过本地安装的各个步骤。它只需要把存储在文件服务上的需要安装的系统映象(Image)拷贝到本地的硬盘上。这个系统映象来源于一个已经安装和配置好的样机。Imaging的安装方式是独立于操作系统，但是它依赖于网络启动的操作系统内核支持的文件系统。Imaging的很大缺点是很难提供独立于操作系统的配置方法。PartImage属于Imaging安装方法。而SIS是Script和Imaging混合型的安装方式。SIS利用Linux的chroot命令在安装服务器的一个文件目录下安装一个虚拟的操作系统映象。同时SIS支持用户提供Shell脚本完成安装后的配置。

3. c. 基于Cloning的安装：和Imaging安装方式相同的是，Cloning安装也采用系统映象。但是Cloning中的系统映象是样机上硬盘分区的 Clone。因此，Cloning安装不需要识别系统镜像中的文件系统类型。所以它是独立于文件系统的，它只依赖于操作系统内核支持的硬盘设备类型 (IDE或SCSI)。和Imaging一样，Cloning的很大缺点是很难提供独立于操作系统的配置方法。而且相对于Imaging而言，Cloning效率更低。你可以简单的用dd命令实现Clone。
下表归纳了几种安装工具的特点：

安装工具 安装方法 支持的系统 支持的网络协议
KickStart Script Redhat Linux NFS、FTP
SIS Script和Imaging混合 Redhat Linux
SuSE Linux
Turbo Linux
… rsync
PartImage Imaging EXT2、FAT、NTFS、HPFS… 私有协议

3.7 域管理
你可以简单的把集群系统的域管理理解为结点管理，它主要包括如下简单的功能：
• 加入、删除和列举集群系统中的结点
• 对集群中的结点分组
实际上，我们也把作业管理纳入集群系统管理的任务。但是相对于其他系统管理任务而言，作业管理在集群系统中具有更重要的作用，而且通常的集群系统管理软件也不直接实现作业管理功能。所以我们把作业管理作为集群系统一个重要的软件部分，而不是集群系统管理的一项任务。