知识中心:网格的不同阴影

与大多数新生的企业技术一样,围绕网格的早期讨论主要集中在它将如何影响大型系统供应商的业务模型上。虽然看到IBM和Sun的“网格作为商品”战略进展会很有趣,但我们不要忘记,实用计算业务模型还远未达到网格讨论的全部范围。

未来不仅仅是大型券商为核心IT运营外包网格。如果我们考虑一个连续体,在这个连续体中,公司要么是电网经纪人,要么是电网消费者,请原谅这个双关语,在这两者之间有许多不同的电网。

值得关注的一个领域是,企业服务提供商如何将网格整合到他们的生产环境中,从而通过他们的产品和服务将网格的好处扩展到他们的客户。在本专栏中,我采访了三家提供商(每一家都服务于不同的行业),了解了他们是如何将网格整合到生产环境中的。

艾克希姆

总部位于阿肯色州小石城的安客诚公司为需要快速准确地处理和分析大量数据的组织提供系统和服务。2000年,安客诚面临着一个重大的规模问题,其数据集成应用程序AbiliTec在大型Unix系统上运行,销量突然飙升。

Acxiom产品和基础设施技术组的首席架构师Terry Talley说:“我们不仅在客户数量上,而且在他们希望通过AbiliTec应用程序运行的文件和记录数量上都有了巨大的增长。”。

为了扩展生产环境,Acxiom需要非常大的内存空间和大量额外的处理器。”但我们意识到,在财务上,通过添加任意数量的昂贵SMPs(对称多处理器)来扩展是没有意义的唯一的出路就是商品箱。”

该公司用双CPU(通常为3-GHz)和4GB内存的Linux节点取代了SMPs。该公司也很早就意识到需要某种方法来管理这种环境。在调查了可用的商业管理工具后,它决定构建自己的管理控制台,并将其命名为“Apiary”。使用这种国产网格获得的结果令人印象深刻。

Acxiom首席信息官Alex Dietz说:“从历史上看,当我们在传统平台上运行软件时,我们会在特定应用程序上跳转以获得5%的性能提升。”有了网格,我们可以快10倍,如果我们决定的话,我们可以快100倍。网格的增量可扩展性让你大吃一惊。”

如今,Apiary管理着一个由6000多个节点组成的网格,所有节点都运行Linux。Acxiom将Apariy的动态资源调配功能称为“hive for hire”,网格生产环境现在每月处理500多亿个AbiliTec链接,其大批量作业的吞吐量提高了10倍。据报道,该公司的AbiliTec客户在四年内经历了零停机(100%可用性)。

“有些人担心电网的可靠性,”特里说但在我们的例子中,根据网格的性质,我们可以负担得起冗余服务和冗余功能。我们的机器曾经出现过故障,但由于我们的网格具有自动故障切换功能,我们网格环境中的应用程序四年内不会出现一次故障。”

这是我从其他早期采用者那里听到的信息:网格不仅可以提高性能和降低成本,还可以提高可靠性。

Acxiom的所有服务现在都部署在网格上,公司的许多工作流流程目前也在网格上运行。安客诚还将其数据仓库和数据集市解决方案推向了网格。

鲍恩

作为世界上最大的金融印刷商,总部位于纽约的Bowne&Co.Inc.认为,当客户的SEC截止日期到来时,IT资源需求将大幅飙升。在这些年度财务处理高峰期,Bowne收到大量的最终客户报表,必须在很短的时间内进行处理。这个生产计划的核心是Bowne的Statements应用程序——运行在数百台专用服务器上的定制软件。

2003年,Bowne启动了一个概念验证网格试点,研究如何利用网格原则来解决支持其应用程序的资源利用率低的问题。

“在项目开始时,我们问自己,‘电网应该有多大?’鲍恩首席建筑师埃伦·克劳斯说这个问题没有对错之分。我们在鲍恩的决定是,我们不会试图煮沸海洋,建立有史以来最大的生产网格。我们只是想借用一些网格技术来打破应用程序和服务器之间的静态链接,从而提高处理灵活性。”

所以Bowne建立了一个试点生产网格,由四个服务器组成。其中一个是DataSynapseLiveCluster服务器,被指定为作业控制器,它控制两个网格引擎。第四个服务器被指定通过这些网格引擎提供作业。

使用Bowne的网格,当一个作业被创建时,它被发送到控制器,控制器决定哪些网格服务器可用。与专用服务器上的专用作业以及串行处理这些作业不同,试点网格支持多线程和动态资源调配功能。克劳斯估计,该电网的利用率可能提高8倍;她还表示,该电网可以轻松扩展,以容纳额外的30或40台发动机。

尽管Bowne的网格试点取得了成功,Kraus观察到了网格在其他企业环境下将面临的一些挑战。首先,虽然Bowne的Statements应用程序是定制的,因此不受许可问题的影响,但她认为在grid能够处理一些专有的应用程序环境之前,许可是一个需要解决的领域。她还提到了客户的文化问题——无论网格安全问题在短期内得到多大程度的解决,许多客户都会坚持在不同的服务器上处理他们的财务信息。

克劳斯还提到了IT专业人士的文化问题。”“网格计算是一种范式转换,它不仅仅是一个单一的问题,它必须处理,”克劳斯说这不仅仅是关于如何配置服务器,或者如何进行开发。您需要不同的技能集、新的监视和测量能力以及不同的部署机制来了解您要提供的环境类型。理解商业价值并不难。但文化问题更难调和。”

全局资源管理器

总部位于加州核桃溪的globexplorerllc提供了它所称的世界上最大的航空/卫星图像和地图在线图书馆。如果你去他们的网站,输入你的地址,你会发现你的邻居的航空照片。GlobeXPlorer向全国范围内的合作伙伴提供这些内容和更多内容,而且服务和接收这些大文件都需要放在其IT资源上。GlobeXPlorer定期处理超过500TB的数据。

GlobeXplorer总裁兼首席执行官罗伯•尚克斯(robshanks)表示:“与此同时,我们每天向客户提供数以百万计的地图,我们正在吸收新的内容。”在我们的业务中,你必须保持内容新鲜,所以我们总是在吸收。当您提供整个北美的航空和卫星图像并扩展到全世界时,处理相关的文件格式、文件转换、更改颜色对比度、缝合相邻图像以及为图像服务器提供服务是一项巨大的任务。我们每周在网格中一次摄取1 TB的数据。”

GlobeXplorer使用网格作为管理其CPU周期的方法,控制作业的队列和优先级。如果需要服务器为特定区域提供大量图像服务,GlobeXPlorer的网格将减慢新数据的处理速度,并首先处理付费客户。

“我们真的用网格来管理这个超级计算机系统——数百个CPU变成了一台虚拟超级计算机,”Shanks说我们可以在每个CPU上分配我们想要优先的路径,以及我们想要什么时候发生事情。因为它是如此动态,我们可以用更少的硬件资源做更多的事情。”

由于GlobeXplorer的网格系统是基于Globus工具箱等开源标准构建的,因此该公司可以相对轻松地进行修改。GlobeXPlorer的网格硬件环境由sunsparc盒和delllinux盒组成——所有这些都是薄型的、机架式的。

在许多企业刚刚开始研究网格和虚拟化技术的地方,GlobeXplorer已经使用这些原则很多年了。

“实际上,我们一开始就开始使用这个虚拟系统,”尚克斯说我们总是在网络模式下构建我们的系统,这样我们就可以在日本、伦敦或旧金山拥有服务器,它们都作为一个系统工作。无论您是在数据中心的笼子里,还是在外部,这个网络都可以看到所有的东西--磁带、驱动器,所有的东西。一切都是数据库驱动的。我们的机器通过一个网络相互连接,总是能够运行4个或更少的CPU资源调配需求,因此我们不必购买数百万美元的大型服务器。”

GlobeXplorer最近在公司卫星合作伙伴的帮助下,对海啸灾区的最新图像进行了外部处理和交付。