WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

评测导购 > 数据保护 > 正文

重复数据删除系统在市场上的四大重点

watchstor.com  佚名丨2010-01-02 18:02 标签:数据保护 存储资源管理 重复数据删除 

重复数据删除系统在使用的时候还是有很多的问题存在,但是我们在使用的时候需要更多的技术支持。下面我们就详细的来学习下重复数据删除的相关知识。

在这种需求的推动之下,各种信息保留工具应用而生,令用户眼花缭乱,难辨本质,特别是近来大热的重复数据删除系统。从全球知名调研机构lnfoPro去年对全球1000多家企业IT经理对未来存储技术的调查中不难看出,大家纷纷对重复数据删除和虚拟带库展现了极大的关注,特别是重复数据删除系统,被业界列为十大存储热门技术之一。但在这些耀眼光环背后,客户往往更加迷茫,究竟实施重复数据的删除目的何在?又需要注意些什么?哪些方式可以实现重复数据的删除?利弊几何?如何运用这以技术真正改变数据备份现状?……让我们先从数据备份现状看起:

重复数据删除系统的4大考量重点

通常情况下,从数据备份的周期来看,白天客户在做在线处理,做生产;晚上,将数据备份到虚拟带库或物理带库等介质上,第二天把这个介质通过物理的方法(如:车载运输)运到一个安全的地方,这是一个完整的备份,期间当然还要满足法规遵从的需求。然而随着现在信息量越来越大,晚上做备份数据量也越来越大,再加上7×24小时业务响应的压力,大部分客户已经感到没有充足的数据窗口来满足备份需求,IT经理面临着巨大的困境。现在新的重复数据删除系统优势在于把数据量进行大规模的压缩,压缩完以后,数据备份量会变得很小,这样在非常小的备份窗口里面就可实现完整的备份方案。

因此,从整体重复数据删除系统市场来讲,客户存在以下四个方面的需求:第一,毋庸置疑是对性能的需要,因为数据在增长,客户的备份窗口,性能是重复数据删除最为关键的一环;第二,是扩展能力,该方案有没有可能为大的数据容量进行处理;第三,是数据一致性,信息资产的宝贵不言而喻,企业务必要采取精准的算法避免一切误删除;最后,是如何在不中断服务的前提下进行数据删除。

IBM这次通过全新企业架构策略的发布,希望在信息保留方面,能够利用优势技术、成熟的产品和端到端的服务为客户提供更加优化、更加有效的层次存储的架构;同时利用业界领先的重复数据删除系统,帮助客户更好地备份和归档,从而实现以更少的存储设备保存更多的数据这一最终目的。

基于这一目标,此次发布的重复数据删除系统新品IBM System Storage™ TS7650G ProtecTIER,对以上四个方面都做出了完美的响应:第一,性能方面,TS7650G实现了目前整个市场上最快的速度,其单节点的吞吐能力在现实应用中已可达到450MB/秒,在双节点集群中可达到900MB/秒,足以满足在线备份删除的需要;第二,扩展能力,由于该产品的压缩比可高达25:1,在某些特定应用下,甚至可达30:1,因此极大的减少了客户对物理存储的需求,同时可以帮助客户保存更多的数据,一般厂商的处理级别只在100TB左右,而该方案最大的特点正是可处理PB级的存储,完全可以满足大型企业客户的支持;第三,数据的一致性,通过附加的二进制校验机制,该方案能够保证在整个的备份删除过程,数据100%一致;最后非中断,由于采用了在线处理的方式,免去了一般重复数据删除系统的二次处理过程,客户可以在完全不中断业务的同时进行数据删除。

慧眼辨析Post Processing和Inline Processing

需求明确之后,要想进一步选择适合的方式,就必须了解其实现过程。目前重复数据删除系统在市场上有两种技术,一种是Post Processing(后处理),另一种是Inline Processing(在线处理)。后处理,首先通过把完整的数据1:1备份到存储设备上,等所有数据全部备份成功,在一个固定时间,进行批处理把它压缩,实现重复数据的删除;而在线处理,在接收到备份数据的同时,就进行重复数据的删除,把删除后的结果存到后端设备上。

其实两种方式是伴随着重复数据删除系统的不断成熟而逐渐出现的,早期,市场上还未出现一种合适的算法可以满足性能和重复数据删除系统两方面的需求,因此后处理方式大行其道,然而这毕竟是一种删除性能无法和生产系统性能相匹配情况下的折中选择,在面对数据量不大的备份尚且可行,当数据量过大后,其长时间的备份窗口将领客户不堪重负;此外,由于后处理把数据删除跟生产系统完全分开,因此需要有一个单独的处理系统来完成,即要求第二过程,所以导致用户数据很难做到连续访问,而且由于虚拟带库不断运转,也很难完成把虚拟带库的数据离线克隆到磁带等二级存储设备上。

反观在线处理则很好地化解了这些难题,这是一个实时的处理过程,当生产系统有备份数据传输过来就即时进行重复数据的删除以及数据压缩,完成后转成适合虚拟带库的格式,存在磁盘或磁带上,不但比后处理方式要简单,而且更加有效,同时也不需要安排人员进行后端的删除,可以减少整个备份系统的成本。

虽然在线处理更优,但从技术特征的角度,也要比后处理方式来的更复杂,要求厂商在提供技术和解决方案的同时,能够有完整的测试,另外技术本身的算法也要特别优秀。而这也正是IBM收购Diligent公司的缘由,Diligent创新的在线处理技术在整个业界可谓独一无二;另外其重复数据删除系统的算法在整个业界是最精准的,可在满足客户压缩需求的同时又不影响系统性能。目前Diligent主要有两大产品,一个是存储虚拟磁带库的软件产品ProtecTIER,另外一个是专门做重复数据删除系统的HyperFactor。目前Diligent在全球已有500多套的装机量,财富500强企业有300多个客户采用,在电信行业,美国前十大电信运营商已有五家采用Diligent技术。

【编辑推荐】

  1. 重复数据删除技术的厂商观点
  2. 重复数据删除技术引领存储节能降耗
  3. 重复数据删除保障使用的最佳环境
  4. 重复数据删除技术在应用中性能和状态的问题讨论
  5. 重复数据删除原理实际应用讲座

相关资讯

今日微信独家

《华尔街日报》报道日前援引知情人士的消息称,由于被美国政府以国家安全问题为由进行调查,联想斥资23亿美元收购IBM低端服务器业务的交易陷入了停滞状态。
关注新浪官博 订阅微信订阅号

订阅焦点周刊

论坛与活动

2016中国数据加速峰会直播专题
2016中国数据加速峰会直播专题[详细]
点击查看

精彩视频

最新文章

1111111
1111111
asdasd
asdasd
同有科技应用型大数据存储在南京掀起智能风暴
同有科技应用型大数据存储在南京掀起智能风暴
斯蒂芬斯蒂芬
斯蒂芬斯蒂芬
京东双11技术备战 构建多中心交易系统
京东双11技术备战 构建多中心交易系统