WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

新闻资讯 > 高性能计算 > 正文
EMC抓住机遇:aBBa技术为云高性能计算添助力
作者: 佚名 2014-06-26 13:57 【zdnet】

EMC已经开发出一项令人瞩目的缓冲技术,能够将其VNX中端企业级存储产品转化为高性能计算级存储资源,并利用aBBa缓存方案提供原始速度与VNX存储容量。

高性能计算的计算能力极为可观,以VNX为代表的现有企业级阵列根本无法满足其对数据接收乃至数据访问速率的要求。有鉴于此,DataDirect以及Panasas等专业供应商开始在高性能计算存储领域赢得优势地位,而企业系统供应商们则通过OEM或者转售前者产品的方式努力在高性能计算存储市场上占得一席之地。

正是出于这样的考量,惠普公司也开始利用自身销售渠道向高性能计算市场销售Data Direct存储产品。目前EMC已经选择开发自己的突发式缓冲缓存技术,希望为其现有VNX阵列赋予必要的功能、从而在高性能计算领域与惠普公司一争高下。

突发式缓冲机制以闪存为基础,其速度表现非常出色、足以应对处理器在偶尔出现后端阵列写入数据IO不足时对传输能力提出的挑战。针对这一解决思路,EMC打造出aBBa、而DDN则研发出了IME技术。

EMC抓住机遇:aBBa技术为云高性能计算添助力(注意:此aBBa非彼ABBA:)

EMC公司在本届德国莱比锡国际超级计算展会上公开了其演示系统,如果用比较粗糙的语言来形容、这是一套利用融合型基础设施作为高性能计算级Vblock架构的解决方案。其中包括:

·三台网络交换机
·HSM(即分层式存储管理)设备
·突发式缓冲缓存
·VNX Lustre设备

这款全称为突发式缓冲设备(简称aBBa)的产品使用NVRAM,根据EMC的说法,它能够将检查点数据吞吐能力提高达十倍,搭配专门为洛斯阿拉莫斯实验室的文件共享检查点机制所研发的PLFS虚拟文件系统。PLFS利用aBBa作为其突发式缓冲存储机制。

VNX Lustre设备在标准机架中能够提供最高1.44PB存储容量,传输带宽则为每秒20GB。它集成了开源Lustre并已经能够支持FDR/QDR InfiniBand、每秒40Gb以太网、SSD以及近线SAS硬盘驱动器。VNX与突发式缓冲技术相结合的产物被EMC公司命名为 LustreaBBa或者LaBBa。它属于Lustre并行文件系统存储体系当中的闪存层。LaBBa能够管理从NVRAM缓冲到磁盘的整套自有分层结构,EMC指出它被定位为一套突发式缓冲-加速Lustre对象存储服务器。另外,从全局角度看它利用分层Lustre对象取代原本的块存储机制,从而使 Lustre的性能表现提升达4倍。

演示系统当中的另一套aBBa实施方案则利用突发式缓冲设备作为前端Isilon向外扩展文件存储机制,其具体名称为 GrauXtreemStore分层式存储管理(简称HSM)设备。Grau提供配备软件以及一款Isilon插件,该插件在系统内部利用PLFS将数据移动的处理速度提升至每天1PB。根据EMC方面的说法,同样的效果在GPFS以及Lustre上也能够实现——事实上任何配备有HSM管理方案的并行文件系统都可达到同样的性能指标。

Lustre文件系统可以在将Isilon节点作为辅助存储机制的VNX阵列之上正常运作。而Grau HSM技术则被用于处理两者之间的数据移动任务。

高性能计算就像是采煤工作面,决定作业效率的压力主要集中在传输速度低下的磁盘存储身上,而且偶尔需要拥有速度更快的其它存储方案满足其突发性需求。随着GPU被逐步添加到CPU计算体系中用以提升处理能力,这样的状况显然正变得越来越糟糕。突发式缓冲机制是高性能计算工程技术人员最为推崇的解决办法,而且EMC与DDN双方都拿出了自己的突发式缓冲技术成果。我们可以预期,随着时间的推移、这项技术将被整合到高性能计算数据存储体系当中,例如被添加到存储阵列控制器内。

根据我们掌握的情况,EMC将把DSSD技术、PCIe访问机架扩展闪存存储与aBBa混合成一套统一方案。该公司目前正在为其aBBa技术开拓市场业务,而且我们预计实际产品将在未来六到十八个月内正式亮相。在我们看来,面向金融贸易业务的大数据实时分析处理将成为其发挥作用的主要舞台之一。


标签:云存储 服务器配件 高性能计算 

了不起的IT经理
LecVideo
论坛与活动