WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

评测导购 > 数据保护 > 正文

重复数据删除技术企业必须要进行的节流措施

watchstor.com  佚名丨2009-12-01 15:49 标签:数据保护 存储资源管理 重复数据删除 

重复数据删除技术为企业节省了大量的存储空间。面对着企业与日俱增的数据量重复数据删除技术能够帮助解决垃圾数据的删除工作。今日,IT 经理及管理员们不仅要面对日益爆炸的数据增长难题,还要担负由此引发的不断上升的备份及容灾所需的主存储的成本压力。

然而,每完成一次全备份,都会备份大量与之前的全备份相同的文件和数据,相同数据的多个备份,占据了大量昂贵的磁盘空间。随着时间的推移,一次备份中的重复数据会充斥于所有服务器、所有备份工作(全备份及增量备份)。

重复数据删除技术是一种非常高级的数据缩减方式,可以极大的减少备份数据的数量。这种技术通过减少存储的数据量,改变数据保护方式,卓越的提升了磁盘备份方式的经济性。重复数据删除被业界公认为备份技术的下一代发展步骤,是今日数据中心的‘必备’技术。

重复数据删除应运而生

重复数据删除技术是一项非常新的技术,专门用于在减少需要备份的数据量、最大化存储利用率的同时,使更多的备份数据在线保留更长时间。通常来讲,重复数据删除技术会将最新的备份数据与已有的之前的备份数据进行比对,从而消除冗余数据。这项技术的优势在于数据的减少不仅使存储的效率更高、成本更节约,带宽的利用也降到最低,使更经济、更快速的实现备份数据的远程复制成为可能。然而,目前市场中的重复数据删除解决方案还有很大差异,有些解决方案会使备份处理的速度变的很慢,甚至引发无法预计且不可恢复的数据丢失。

块级重复数据删除技术

多年以前的重复数据删除技术,可以看作是文件级的技术,当时称之为“单一实例存储(Single Instance Store,SIS)”,通过SIS技术,整个文件系统或电子邮件系统的重复文件可以被减少为单一的拷贝,当再出现这一文件时,会被指向到这一单一拷贝,从而减少容量需求。这一技术通常被用于电子邮件管理及归档系统。

今天的重复数据删除技术利用了与SIS类似的数据缩减概念,但却使之向前迈进了一大步 – 实现了块级(子文件)重复数据删除。当读取数据时,系统利用Hash算法识别唯一的数据块,系统将保留Hash索引,每个Hash编码指向一个不同的数据块。当新的备份发生时,会自动的与现有的块进行比对,如果索引中已经有相同的块,数据将会被删除或被指向块的指针所代替;反之,则会被保存并在索引中为其创建一个新的Hash编码。这里提到的唯一数据块的大小,会根据用户选择的不同的重复数据删除解决方案而不同,平均大小在4KB-24KB之间。

与文件级SIS技术相比,块级的重复数据删除技术可以说更具优势。它可以在不同的文件或应用中消除冗余数据块。比如,如果一个文件只做了想当小的一点修改并保存,块级重复数据删除技术则将只保存发生变化的数据块。按这种方式,块级重复数据删除可以提供更好的压缩比率,特别是应用于巨大数据量的情况下,如数据库或全备份之后。

下面的例子进一步说明了SIS和块级两种重复数据删除技术的结果比较。

一个企业向1000个邮件地址发出一封带有注册内容的活动邀请函,传统的备份应用将会把文件备份1000次。SIS解决方案可以识别出文件是相同的,将只会保留一份备份,然后生成999个指针指向那个唯一的备份,因此,大概节省了99.9%的空间。但是,之后这1000个参会人可能会将注册内容填好后回复给发件人,由于他们的名字不同,SIS解决方案就会备份1000份回执。

块级解决方案在发出邀请函的时候执行了相同的重复数据删除技术处理,也实现了99.9%的存储空间节省。但是,当收到1000份参会人的回执时,块级解决方案会发现每个回执的大部分内容与第一封收到的是相同的并已经备份过,因此,它只会对其它999封回执的相异数据块(块级)进行备份。这种方法与SIS技术相比,则还可以节省额外的99.9%的存储空间。

绿色存储与重复数据删除

由于块级重复数据删除技术只保存发生变化的数据,极大的减少了所需的备份容量,使用户不用再像从前一样购置大量磁盘,从而将用户备份系统的总成本降到最低。更少的磁盘致使存储系统更少,电力及制冷需求更小,同时还降低了整体系统的复杂性。

与传统的磁带备份解决方案相比,重复数据删除技术完全改变了磁盘备份的经济性。通过这一技术,更多的用户可以负担得起用磁盘备份取代整个或是部分磁带备份的解决方案。磁盘备份相对于磁带备份来说,提供了更好的备份及恢复性能。通过利用磁盘备份的方式,用户可以进一步改善他们的服务品质协议(Service-Level Agreements,SLAs)。

当通过数据复制实现灾备时,重复数据删除技术也可以带来卓越利益。由于减少了备份数据量,重复数据删除技术将主站点与远程数据中心之间的带宽需求、数据传输成本、复制时间都降到最低。企业利用相对经济的WAN网络即可在任意地理空间范围内执行复制,实现了额外的成本节约。

重复数据删除最适用于哪里?

理论上讲,重复数据删除技术可以用于任意地点存在的数据。它可以与在线或是离线的数据一起工作,可以在文件系统或是数据库,也可以在其它应用。总的来说,哪里有大量的重复数据,它就能在哪呈现出最大的利益回报。

而最好的应用示例是在企业级备份。企业大都是每天做一次全备份,两日的全备份中通常只有很小部分---不会超过5%---的数据是不同的,大部分备份扇区都是相似的。这种情况下,重复删除为备份系统带来了最佳的利益回报。因此,大多数重复数据删除解决方案都是专为备份系统而设计的。

【编辑推荐】

  1. 硬盘管理技巧高手的五大实用技巧
  2. 重复数据删除技术存储行业的优化大师
  3. 重复数据删除技术帮助数据中心降低成本
  4. 双机热备份技术已经成为了服务器主流技术
  5. 持续数据保护技术保证企业数据的绝对安全


相关资讯

今日微信独家

《华尔街日报》报道日前援引知情人士的消息称,由于被美国政府以国家安全问题为由进行调查,联想斥资23亿美元收购IBM低端服务器业务的交易陷入了停滞状态。
关注新浪官博 订阅微信订阅号

订阅焦点周刊

论坛与活动

2016中国数据加速峰会直播专题
2016中国数据加速峰会直播专题[详细]
点击查看

精彩视频

最新文章

1111111
1111111
asdasd
asdasd
同有科技应用型大数据存储在南京掀起智能风暴
同有科技应用型大数据存储在南京掀起智能风暴
斯蒂芬斯蒂芬
斯蒂芬斯蒂芬
京东双11技术备战 构建多中心交易系统
京东双11技术备战 构建多中心交易系统