WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

评测导购 > 数据保护 > 正文

重复数据删除技术需要进行技术升级

watchstor.com  佚名丨2010-01-02 19:00 标签:数据保护 存储资源管理 重复数据删除 

重复数据删除技术在市场上最有效的数据存储整理技术。当然我们还是有很多的技术问题不明白。下面我们就详细的学习下重复数据删除的相关知识。

今日,IT 经理及管理员们不仅要面对日益爆炸的数据增长难题,还要担负由此引发的不断上升的备份及容灾所需的主存储的成本压力。然而,每完成一次全备份,都会备份大量与之前的全备份相同的文件和数据,相同数据的多个备份,占据了大量昂贵的磁盘空间。随着时间的推移,一次备份中的重复数据会充斥于所有服务器、所有备份工作(全备份及增量备份)。

重复数据删除技术是一种非常高级的数据缩减方式,可以极大的减少备份数据的数量。这种技术通过减少存储的数据量,改变数据保护方式,卓越的提升了磁盘备份方式的经济性。重复数据删除技术被业界公认为备份技术的下一代发展步骤,是今日数据中心的‘必备’技术。

重复数据删除技术应运而生

重复数据删除是一项非常新的技术,专门用于在减少需要备份的数据量、最大化存储利用率的同时,使更多的备份数据在线保留更长时间。通常来讲,重复数据删除技术会将最新的备份数据与已有的之前的备份数据进行比对,从而消除冗余数据。这项技术的优势在于数据的减少不仅使存储的效率更高、成本更节约,带宽的利用也降到最低,使更经济、更快速的实现备份数据的远程复制成为可能。然而,目前市场中的重复数据删除技术解决方案还有很大差异,有些解决方案会使备份处理的速度变的很慢,甚至引发无法预计且不可恢复的数据丢失。

块级重复数据删除技术

多年以前的重复数据删除技术,可以看作是文件级的技术,当时称之为“单一实例存储

(Single Instance Store,SIS)”,通过SIS技术,整个文件系统或电子邮件系统的重复文件可以被减少为单一的拷贝,当再出现这一文件时,会被指向到这一单一拷贝,从而减少容量需求。这一技术通常被用于电子邮件管理及归档系统。

今天的重复数据删除技术利用了与SIS类似的数据缩减概念,但却使之向前迈进了一大步 – 实现了块级(子文件)重复数据删除技术。当读取数据时,系统利用Hash算法识别唯一的数据块,系统将保留Hash索引,每个Hash编码指向一个不同的数据块。当新的备份发生时,会自动的与现有的块进行比对,如果索引中已经有相同的块,数据将会被删除或被指向块的指针所代替;反之,则会被保存并在索引中为其创建一个新的Hash编码。这里提到的唯一数据块的大小,会根据用户选择的不同的重复数据删除解决方案而不同,平均大小在4KB-24KB之间。

与文件级SIS技术相比,块级的重复数据删除技术可以说更具优势。它可以在不同的文件或应用中消除冗余数据块。比如,如果一个文件只做了想当小的一点修改并保存,块级重复数据删除技术则将只保存发生变化的数据块。按这种方式,块级重复数据删除可以提供更好的压缩比率,特别是应用于巨大数据量的情况下,如数据库或全备份之后。

【编辑推荐】

  1. 重复数据删除技术消除没有价值数据
  2. 重复数据删除比率企业必须严格论证
  3. 重复数据删除解决方案必须具备扩展能力
  4. 重复数据删除技术在虚拟化中的应用
  5. 重复数据删除技术被EMC推向市场中心


相关资讯

今日微信独家

《华尔街日报》报道日前援引知情人士的消息称,由于被美国政府以国家安全问题为由进行调查,联想斥资23亿美元收购IBM低端服务器业务的交易陷入了停滞状态。
关注新浪官博 订阅微信订阅号

订阅焦点周刊

论坛与活动

2016中国数据加速峰会直播专题
2016中国数据加速峰会直播专题[详细]
点击查看

精彩视频

最新文章

1111111
1111111
asdasd
asdasd
同有科技应用型大数据存储在南京掀起智能风暴
同有科技应用型大数据存储在南京掀起智能风暴
斯蒂芬斯蒂芬
斯蒂芬斯蒂芬
京东双11技术备战 构建多中心交易系统
京东双11技术备战 构建多中心交易系统