网格技术发展与运用
蔡青1 张艳2
1上海理工大学光学与电子信息工程学院 上海 200093
2上海理工大学计算机工程学院 上海 200093
摘要 本文从网格的定义谈起，介绍了网格计算发展中的关键技术问题，分析了网格协议Globus体系结构,介绍了最新发展的开放网格服务架构OGSA并对网格技术发展作了展望。
关键词 网格 协议Globus OGSA
1 引 言
二十世纪六十年代末,人类采用信息包传输和开放式整体结构技术,组建了ARPAnet,从而诞生了
Internet.到了九十年代初,万维网应运而生. 随着人们日常工作遇到的商业计算越来越复杂，人们越来越需要数据处理能力更强大的计算机.网格技术正是在此背景之下出现,并且正在逐渐地由一个新兴名词转变成为运用于商业、科研、医药等各行业的技术产物。
2 网格定义及现状
网格一词译自英文单词“Grid”，是把整个因特网整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享，其规模可以大到某个洲，小到企事业内部、局域网、甚至家庭和个人。
目前，在复杂科学计算领域中仍然以超级计算机作为主宰，但是由于其造价极高，通常只被用于航天局、气象局这样的国家级部门。网格计算（Grid Computing）作为一种新的计算模式，其低廉的造价和超强的数据处理能力倍受青睐。目前很多大公司开始投入其中，如“蓝色巨人”IBM正在构筑一项名为“Grid Computing”的计划，旨在通过因特网，向每一台个人电脑提供超级的处理能力。 2001年11月，Sun推出了Sun Grid Engine企业版软件的β版，旨在促进网格计算的发展。
3 网格计算
3.1网格计算的优势
网格计算是伴随着互联网而迅速发展起来的，专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网格”.这样组织起来的“虚拟的超级计算机”有两个优势，一个是数据处理能力超强；另一个是能充分利用网上的闲置处理能力。
实际上，网格计算是分布式计算（Distributed Computing）的一种，参与工作的是计算机网络，显然这种方式较以往的以个人计算机为单位的计算方式相比将具有更加强大的数据处理能力。充分利用网上的闲置处理能力则是网格计算的又一个优势，网格计算模式首先把要计算的数据分割通常实现的软件是一个预先编制好的屏幕保护程序，然后不同节点的计算机可以根据自己的处理能力下载一个或多个数据片断和这个屏幕保护程序。只要位于某个节点的计算机的用户不使用计算机时，屏保程序就会工作，来调动闲置计算能力。
3.2网格计算的技术关键
3.2.1网格计算三种基本功能
网格计算至少需要具备三种基本功能：任务管理、任务调度和资源管理。
任务管理。用户提交任务、为任务指定所需资源、删除任务并监测任务运行状态。
任务调度。用户提交的任务由该功能按照任务类型、所需资源、可用资源等安排运行日程和策略。
资源管理。确定并监测网格资源状况，收集任务运行时的资源占用数据。
3.2.2网格计算的技术难点
为实现网格计算的目标，必须重点解决三个问题，这三个问题也是目前因特网普遍存在的问题。
⑴异构性。由于网格由分布在广域网上不同管理域的各种计算资源组成，怎样实现异构机器间的合作和转换是首要问题。
⑵可扩展性。要在网格资源规模不断扩大、应用不断增长的情况下，不降低性能。
⑶动态自适应性。当某一资源出现故障或失败的可能性较高时，资源管理必须能动态监视和管理网格资源，从可利用的资源中选取最佳资源服务。
3.3网格计算协议
就像TCP/IP协议是Internet的核心一样，构建网格计算也需要对标准协议和服务进行定义。迄今为止，网格计算还没有正式的标准，但在核心技术上，相关机构与企业已达成一致：由美国Argonne国家实验室与南加州大学信息科学学院(ISI)合作开发的Globus Toolkit已成为网格计算事实上的标准，包括Entropia、IBM、Microsoft、Compaq、Cray、SGI、Sun、Veridian、Fujitsu、Hitachi、NEC在内的12家计算机和软件厂商已宣布将采用Globus Toolkit。作为一种开放架构和开放标准基础设施，Globus Toolkit提供了构建网格应用所需的很多基本服务，如安全、资源发现、资源管理、数据访问等。目前所有重大的网格项目都是基于Globus Tookit提供的协议与服务建设的。
3.4. 网格计算实例——Globus的体系结构
3.4.1 Globus的结构和功能
Globus的网格计算协议建立在互联网协议之上，以互联网协议中的通信、路由、名字解析等功能为基础。Globus的协议分为五层：构造层、连接层、资源层、汇集层和应用层。每层都有自已的服务、API和SDK，上层协议调用下层协议的服务。网格内的全局应用都通过协议提供的服务调用操作系统。如图1示。
图1 Globus协议与互联网协议对照
构造层（Fabric） 向上提供网格中可供共享的资源，它们是物理或逻辑实体。常用的资源包括处理能力、存储系统、目录、网格资源、分布式文件系统、分布式计算机池、计算机集群等。Toolkit中相应组件负责侦测可用的软硬件资源的特性、当前负荷、状态等信息，并将其打包供上层协议调用。
连接层（Connectivity） 网格中网络事务处理通信与授权控制的核心协议。通过传输、路由及名字解析实现资源间的数据交换实现; 在Toolkit中，相应组件采用基于公钥的网格安全基础协议（GSI）。在此协议中提供一次登录、委托授权、局域安全方案整合、基于用户的信任关系等功能实现各资源间的授权验证、安全控制.
资源层(Resource) 对单个资源实施控制，与可用资源进行安全握手、对资源做初始化、监测资源运行状况、统计与付费有关的资源使用数据。在Toolkit中有一系列组件用来实现资源注册、资源分配和资源监视。Toolkit还在这一层定义了客户端的C、Java的API和SDK。
汇集层(Collective) 将资源层提交的受控资源汇集在一起，供虚拟组织的应用程序共享、调用。为了对来自应用的共享进行管理和控制，汇集层提供目录服务、资源分配、日程安排、资源代理、资源监测诊断、网格启动、负荷控制、账户管理等多种功能。
应用层（Applications） 网格上用户的应用程序。应用程序通过各层的API调用相应的服务，再通过服务调用网格上的资源来完成任务。应用程序的开发涉及大量库函数。
为便于网格应用程序的开发，需要构建支持网格计算的库函数。空器研究等领域已开发了一些基于Globus网格计算的应用程序，较果较好。
目前，Globus体系结构已为一些大型网格应用所采用。研究人员已经在天气预报、高能物理实验、航空器研究等领域已开发了一些基于Globus网格计算的应用程序，较果较好。
3.4.2. Globus系统元计算工具包
Globus力图实现计算网格结构，来提供对高性能远程计算资源普遍的、可靠的、一致性的访问。Globus最核心的部分就是它的元计算工具包，其中定义了构建计算网格最基础的服务。Globus构建了一个如图所示的虚拟元计算机。
图示的底层是Globus的元计算测试床和实验系统，是网络连接的一些有组织的计算网格结点，其中最著名的有I-WAY和GUSTO。I-WAY是Globus的较简化系统，用于气象卫星的实时图像处理。在这个应用中，卫星中的数据下载后，进入一个远程超级计算机进行云层检测处理，然后再由另外一个图形处理机进行气象图绘制。这些处理均在地理上分布的多台机器上实现。I-WAY成功地验证了Globus 系统一些基本构件和机制。
GUSTO在很多方面都被认为是1998年以前最大的计算网格实验床。该实验床最初通过专用多模光纤和Internet连接17个站点、330个计算机和 3600个处理器。目前，GUSTO站点遍布整个美国大陆、夏威夷和德国等，附加站点还在不断增加。
3.4.3 Globus系统的OGSA
开放网格服务架构（Open Grid Services Architecture即OGSA）定义了分布式计算的一些概念。包括远程操作请求、交换数据，任务管理和安全的标准协议等关键定义，同时还包括标准的应用程序界面（API）收集，代码库，可重复使用的组件和调试方法。
OGSA是根据现有的Globus工具包的经验中发展起来的。它是一个有四层的模型：最上面的一层是用户应用层，下面的一层被称之为集群服务，它包括目录处理，诊断和监测：在它下面是和服务器、网络进行连接的资源和连接协议；接下来就到了最后的构造层，它包括了网络上的所有设备--存储、计算机、连接、传感器等等。构造层和用户应用层是我们比较熟悉的，中间的两层被定义为网格。
一台计算机可以在要求另一台计算机去完成一项任务的同时，还为其他的机器进行着一项任务。而且，可以在其他人的机器上创建一个任务，再由这台机器来向其他的机器进行进一步地任务分配.在开放标准上以及安全性的要求下，网格管理依靠的是社区授权。
OGSA支持的虚拟组织（Virtual Organizations即VOs）的概念--通过标准的界面和约定--来创建、终止、管理瞬时服务，进行动态管理。定义这些服务的约定使用现有的网络服务定义语言（WDSL），这是一种基于XML的，用数据或可执行的内容来表达信息的方法。例如SOAP, MIME和HTTP。
4.网格的应用领域
按照Ian Foster 和Globus 项目组的观点，网格应用领域目前主要有四类：分布式超级计算、分布式仪器系统、数据密集型计算和远程沉浸。
分布式超级计算(Distributed Supercomputing)是指将分布在不同地点的超级计算机用高速网络连接起来，并用网格中间件软件“粘合”起来，形成比单台超级计算机强大得多的计算平台。事实上，网格的最初设计目标主要就是要满足更大规模的计算需求，Globus 正是从这类应用起家的。典型的分布式超级计算应用有两个，第一个是军事仿真项目SF Express，它将大型军事仿真任务分解到分布式环境中运行，从而在规模上创下了该领域的世界纪录；第二个应用称作数字相对论，它利用网格求解爱因斯坦相对论方程并模拟出天体的运动规律，在2001 年超级计算会议(Supercomputing 2001)上获得了Gordon Bell 奖。
分布式仪器系统（Distributed Instrumentation System）是指用网格管理分布在各地的贵重仪器系统，提供远程访问仪器设备的手段，提高仪器的利用率，大大方便用户的使用。网格将分布式仪器系统变成了一个非常易于管理和有弹性的系统。
并行计算技术是由一些计算密集型应用推动着的，特别是一些带有重大挑战（Grand Challenge）性质的应用，它们大大促进了对高性能并行体系结构、编程环境、大规模可视化等领域的研究。相比之下，数据密集型计算(Data Intensive Computing)的应用好像要比计算密集型应用多得多。它对应的数据网格更侧重于数据的存贮、传输和处理，而计算网格则更侧重于计算能力的提高，所以它们的侧重点和实现技术是不同的。例如目前欧洲原子能研究机构CERN 所开展的数据网格DataGrid 项目。
远程沉浸(Tele-immersion)这个术语是在1996 年10 月，由伊利诺州大学芝加哥分校的电子可视化实验室EVL (Electronic Visualization Laboratory)最早提出来的。远程沉浸是一种特殊的网络化虚拟现实环境。远程沉浸是一个典型的网格问题，它所共享的是一个集中的虚拟环境。这个环境可以是对现实或历史的逼真反映，可以是对高性能计算结果或数据库的可视化，也可以是个纯粹虚构的空间。过去几年里，EVL 与十几家合作伙伴一起，开发了一些具有远程沉浸特征的虚拟现实应用，例如虚拟历史博物馆，从网络上进入的参观者不仅可以在虚拟的城池中畅游，还可以与从其他地方进入的网络参观者在同一个虚拟空间中互相交流。
另外，EVL 和交互计算环境实验室CEL 合作推出了备受关注的NICE——叙事式沉浸的建设者及协同环境(Narrative Immersive Constructionist / Collaborative Environments)。
2002年网格首次运用到商业领域。除此以外，网格还可运用于生物医学,提供药品开发人员所需的计算能力，用以研究药物和蛋白质分子的形态与运动；运用于工程；用网格计算进行复杂的仿真与设计；用于数据搜集分析,地理信息科学、制造、石油加工、货物运输、甚至零售企业都要维护昂贵的设备，时常会出现问题，造成不好的结果,网格能够存储和处理所有交易；用于娱乐产业、特殊效果设计、超级视频会议等。
5.结束语
据《ForbesASAP》预测，网格技术将在2005年达到高峰，并带来因特网的新生。如果网格技术能促使市场按预期的17%年增长率持续成长的话，那么在2020年将会形成一个年产值20万亿美元的大产业。
在我国，网格还是一个新兴名词。国内网格研究刚开始起步,主要代表是国家高性能中心下的国家高性能计算环境(National High Performance Computing Enviornment,简称NHPCE)或者称为国家计算网格(Grid,简称网格)等. 对于大多数中国用户来说，“网格”还仅仅是一个概念而已，其技术优势虽然明显，但是全面投入应用似乎还不是时候。但是，我们可能想像不到，目前很多国家的政府和研究机构已经开始借助网格的力量实现数据、计算力资源的共享与整合。现在，我国政府也注意到了网格广阔的应用前景，国家863计划特别成立的专家组进行网格技术的研发和推广，并将在网格编程语言和网格操作环境的开发上展开实质性的合作。目前，IBM还与教育部共同宣布，将合作建立连接全国100所高校的中国教育科研网络。看来在网格应用方面，政府已经成为了绝对的先行者。
参考文献
（1）《商务应用》什么是网格计算http://www.zdnet.com.cn/biztech/tech-trend/ story/0,2000068130,39034787,00.htm. Friday, May 17 2002
（2）中国网格.网格计算http://www.chinagrid.com/gridstudy/gridstudy.htm.
（3）Rupert Goodwins(TechUpdate).网格计算运用公开标准 http://www.zdnet.com.cn/biztech/tech-trend/story/0,2000068130,39034785,00.htm.Friday, May 17 2002
(4) 刘鹏.网格应用研究现状. 清华大学计算机系高性能所网格研究组