WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

评测导购 > 数据保护 > 正文

重复数据删除技术被EMC推向市场中心

WatchStor.com  佚名丨2009-12-11 17:15 标签:数据保护 存储资源管理 重复数据删除 

虽然重复数据删除技术的发展已经非常成熟,各个供应商之间的技术差别和实现方法并没有较大的差别,但是黄斌仍然相信,EMC的重复数据删除技术仍然具有优势,因为EMC提供了"从独立的技术到集成的功能"的技术转变,并有BuRA这棵可以乘凉的大树。

据介绍,EMC能够根据客户的不同需求,提供三种重复数据删除技术。一是对象级的重复数据删除。在EMC Centera归档平台中,因为要满足法规遵从,EMC提供文件级(也叫对象级)的重复数据删除,将一个文件视为一个对象,当一个对象又被再次存储时,它不会存两份同样的数据,只是返回一个指针,并提示这个数据已经存在。但只有两个文件一模一样,它才会只存一次。如果文件哪怕有微小的变化,它就要存两次。二是Avamar重复数据删除技术,它是变长块的源端重复数据删除,删除率达到300:1,500:1,甚至更高。三是EMC虚拟磁带库(EMC Disk Library,EDL)。EDL跟Avamar是一个互补,Avamar是在源端进行重复数据删除技术,EDL是在后端(目标端)进行重复数据删除。

而除了技术实现方法之外,EMC提供了基于其命名的"源端重复数据删除"和"目标端重复数据删除"的不同解决方案。对于源端重复数据删除来说,其主要的作用是降低每天备份对于网络传输的开销,软硬件一体化的Avamar服务器每天对于源端,即数据生产端每天需要备份的数据进行重复数据删除,然后再进行全备份--这是最令人关注的地方,用户将可以每天做全备份,只需一步恢复就可重新运转而不用一个一个的恢复增量备份,EMC宣称这将节省50倍的存储空间,并大幅度提高备份系统的传输效率。而对于目标端重复数据删除来说,这是一种维护原有备份/恢复系统不变的基于传统备份方式的折中方案,用户仍然可以使用其传统的全备份+增量备份的方式,通过原有的备份软件和服务器进行备份,而重复数据删除技术将在后端的磁盘阵列--实际上更多的是虚拟磁带库上,进行重复数据删除技术,当然,这些虚拟磁带库正是EMC的虚拟磁带库(EMC Disk Library,EDL),EMC的所言,这样的重复数据删除方式将可以节省20倍的空间。

从实现方式来看,一种较为改革性而另一种较为保守,但是从根本上来看,EDL跟Avamar是一个互补,Avamar是在源端进行重复数据删除,EDL是在后端(目标端)进行重复数据删除,但问题是:为何重复数据删除比率相差30倍之多?

首先,从技术上来说,按照检查重复数据的算法不同,重复数据删除可以分为对象(文件)级和块级的重复数据删除,对象级的重复数据删除保证文件不重复;块级重复数据删除则将文件分成数据块进行比较,根据划分数据块的不同方法,又可分为定长块和变长块的重复数据删除技术。变长块的方法可以"斤斤计较"地把每一个重复的字节都删掉,重复删除率最高;定长块的技术只能大致地把相同的数据块去掉,删除率次之--Avamar恰恰是属于变长块重复数据删除技术,而另一方面,Avamar还有另一套的"办法"。

"Avamar是一种智能的重复数据删除技术,Avamar会识别应用,或者说,它是应用可知的,我们认为如果不知道应用的话,去除会比较差,但是Avamar不同。"黄斌表示,Avamar能够识别大量的主流应用,其中包括Oracle数据库、各种文档格式(如Word、Excel、PowerPoint文档格式。)。在Avamar备份服务器的操作过程中,软件程序将识别不同文档格式内的数据段,如果之前已经备份过某些数据段,将不会再次备份这些数据段,从而达到更高的删除比,用这位技术顾问的话来说就是"Avamar可以深入到应用程序中来进行重复数据删除"。

在增加了重复数据删除技术之外,EMC还在其产品中增加了基于软件的Spin down磁盘降速等技术,以试图减少磁盘存储系统的高额能耗,与此同时,在VMware环境中,EMC也将持续的进行优化存储的工作,不过,对于重复数据删除技术未来是否会用在主存储上这个命题,黄斌表示"用户会考虑成本增加和数据减少的成本效益。"因为,主存储大部分是面向交易应用的,对性能敏感,他个人则对此并不十分看好。

对于重复数据删除技术是否会降低用户的硬件采购量,曹晖则显得很轻松,他说道,"潮流是挡不住的,顺应潮流会获取更多。" EMC大中华区市场及渠道战略总监梅敏玲女士表示,EMC中国一直高度重视BuRA市场以及存储软件业务,并对此充满信心。2007年3月,EMC发布中国业务五年计划,提出了包括保持备份恢复归档市场第一、软件业务每年翻番在内的目标。2007年的目标已经成功实现,2008年,"保持第一"和"软件翻番"仍然是EMC中国的两个关键任务。

而借着今年二季度在备份恢复方案中全面引入重复数据删除技术,推出EMC Disk Library 3D 1500/3000,EMC Disk Library 4000, EMC Avamar Data Store二代和EMC Avamar 4.0东风,使EMC拥有了最完整的重复数据删除技术支持的备份恢复解决方案,成为能够提供从软件到硬件整体解决方案的供应商。梅敏玲相信,这不仅巩固了EMC在备份恢复方面的领导优势,更为EMC今年的成长带来诸多机会。

【编辑推荐】

  1. 重复数据删除技术后期处理会减慢存储进程
  2. 重复数据删除技术在后期处理的重要性
  3. 重复数据删除技术升温已成定局
  4. 重复数据删除技术面临着技术革新压力
  5. 重复数据删除技术企业必须要进行的截流错失

相关资讯

今日微信独家

《华尔街日报》报道日前援引知情人士的消息称,由于被美国政府以国家安全问题为由进行调查,联想斥资23亿美元收购IBM低端服务器业务的交易陷入了停滞状态。
关注新浪官博 订阅微信订阅号

订阅焦点周刊

论坛与活动

2016中国数据加速峰会直播专题
2016中国数据加速峰会直播专题[详细]
点击查看

精彩视频

最新文章

1111111
1111111
asdasd
asdasd
同有科技应用型大数据存储在南京掀起智能风暴
同有科技应用型大数据存储在南京掀起智能风暴
斯蒂芬斯蒂芬
斯蒂芬斯蒂芬
京东双11技术备战 构建多中心交易系统
京东双11技术备战 构建多中心交易系统