WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

评测导购 > 数据保护 > 正文

重复数据删除技术引领存储节能降耗

WatchStor.com  佚名丨2009-12-11 14:13 标签:数据保护 存储资源管理 重复数据删除 

重复数据删除技术帮助企业在存储上不仅节省了大量的存储空间,还在间接上节省了大量的能源,这对当下的社会作出了相当大的贡献。当前,重复数据删除和节能技术是虚拟磁带库的两大热点。

1. 重复数据删除技术

企业存储管理员在备份数据时,经常发现重复数据,例如,几百份汶川抗震救灾图片,几十份外卖菜单的扫描件,上千份的最新产品PPT技术资料,等等。因为公司内同事之间转发这类邮件的现象非常普遍,而根据萨班斯法案及相关规定,公司邮件必须作为资料长期保存,即使浪费存储空间、备份时间也不得不如此。

重复数据删除技术的出现正好找到这一问题的痛点。重复数据删除技术按照部署位置可分为源端重复数据删除和目标端重复数据删除。顾名思义,源端重复数据删除技术就是先删除重复数据,再将数据传到备份设备;目标端重复数据删除技术是先将数据传到备份设备,存储时再删除重复数据。按照检查重复数据的算法不同,重复数据删除技术可以分为对象(文件)级和块级的重复数据删除,对象级的重复数据删除技术保证文件不重复;块级重复数据删除则将文件分成数据块进行比较,根据划分数据块的不同方法,又可分为定长块和变长块的重复数据删除技术。变长块的方法可以“斤斤计较”地把每一个重复的字节都删掉,重复删除率最高;定长块的技术只能大致地把相同的数据块去掉,删除率次之。

由于虚拟磁带库的初衷是不改变原有的备份应用模式,因此,只能采用目标端的重复数据删除技术,例如EMC最新发布的DL3D 1500、DL3D 3000和即将发布的DL 3D 4000系列虚拟磁带库,就采用变长块的目标端重复数据删除技术。

比较理想的重复数据删除技术产品,应该能够允许用户可以根据不同的应用场合,选择不同的重复数据删除策略。例如,对一些已知重复率不高的数据,关闭重复数据删除技术功能,从而提高系统运行效率。

通过运用重复数据删除技术,可以大大节省存储空间,数据压缩率能够达到20:1或者50:1之间。以EMC DL3D 3000为例,其最大容量为148TB,由于重复数据删除技术的作用,其存储容量相当于原来PB级的产品。

2. 节能技术

节能是当前全人类面临的课题,IT业自然不能例外。EMC认为,节能不能局限在某个设备上,而要考虑综合性的因素。比如,单单比较磁带和磁盘,磁带一定比磁盘节能,但是如果考虑整个信息生命周期,磁盘就未必比磁带差;开发重复数据删除技术,将数据压缩几十倍甚至几百倍,极大地减少存储设备的使用量,恐怕比单个设备的节能效率要高得多;设备节能了,客户没有优化数据、合理地使用节能功能,同样也不能提高能源效率。这里,仅从虚拟磁带库本身出发,谈一谈节能的问题。

虚拟磁带库是用于备份的设备。备份的特点是,在备份窗口内磁盘的使用率比较高,不在备份窗口的时候,磁盘的使用率比较低。因此,Spin Down磁盘降速技术(有些厂商称为MAID,即Massive Arrays of Idle Disks大规模非活动磁盘阵列)就能派上用场。当磁盘闲置时,降低磁盘转速甚至关闭磁盘,从而达到节能的目的。虚拟磁带库节能的另一个措施是,采用大容量、低功耗磁盘,低功耗是通过低转速实现的,因为备份对速度要求不必那么高;大容量可以减少磁盘的数量,从而实现节能。如下图所示,以EMC为例,EMC EDL 4000系列虚拟磁盘库通过Spin Down和低功能磁盘两项技术,能耗可以降低47%。

如何选择虚拟磁带库

以上介绍了虚拟磁带库的发展和热点技术,最后再介绍如何选择虚拟磁带库。我们认为,客户选择虚拟磁带库时,要从总体备份恢复性能、安全可靠性、可用性、节能、兼容性和服务能力几个方面综合考虑,并根据自己的实际情况重点考虑其中一两个方面。以EMC EDL 4000系列虚拟磁带库为例。

从硬件来看,虚拟磁带库包括前端引擎、后端盘阵以及连接端口组成。因此,除了以上介绍的重复数据删除技术和能耗,以及兼容性、服务能力等“看”不见的因素外,可以从盘阵的可靠性(例如EMC CLARiiON能够达到99.999%,支持RAID6技术可以在两块磁盘失效时保证数据不丢失)、端口速度、引擎的可用性等方面,考察虚拟磁带库的选择。

【编辑推荐】

  1. 重复数据删除技术在磁带机上的具体应用
  2. 重复数据删除比率不是唯一评估标准
  3. 重复数据删除技术企业必须要进行的截流错失
  4. 重复数据删除技术被EMC再次强化
  5. 重复数据删除技术面临着技术革新压力

相关资讯

今日微信独家

《华尔街日报》报道日前援引知情人士的消息称,由于被美国政府以国家安全问题为由进行调查,联想斥资23亿美元收购IBM低端服务器业务的交易陷入了停滞状态。
关注新浪官博 订阅微信订阅号

订阅焦点周刊

论坛与活动

2016中国数据加速峰会直播专题
2016中国数据加速峰会直播专题[详细]
点击查看

精彩视频

最新文章

1111111
1111111
asdasd
asdasd
同有科技应用型大数据存储在南京掀起智能风暴
同有科技应用型大数据存储在南京掀起智能风暴
斯蒂芬斯蒂芬
斯蒂芬斯蒂芬
京东双11技术备战 构建多中心交易系统
京东双11技术备战 构建多中心交易系统