WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

评测导购 > 数据保护 > 正文

在线数据精简技术的优缺点评比

Watchstor.com  佚名丨2009-11-14 14:09 标签:数据保护 存储资源管理 

大家都知道,任何一样东西都有它的正反两面,我们只有很好的认清这两面,才能有效的利用这个东西给我们带来的好处。存储技术也是一样,我们今天就来为大家分析一下关于在线数据精简技术的优缺点。

曾有一场关于存储优化及更好地利用存储容量的经典讨论。根据Wikibon用户反馈信息,我们看到众多存储供应商已成功营销了其离线/备份软件的重复数据删除技术(这一技术可将备份数据量显著减少,减少比率为5-15:1)。

主流在线数据精简技术

用于备份的重复数据删除技术(de-duplication)与通过算法来实际更改数据量的压缩技术(采用算法创建一个计算副产品,并写入少量字节)不同。有了重复数据删除技术,数据未发生变化,而是约2-N倍的复本数据被删除,指示器被插入数据的一个“主实例”。单实例即可被视作重复数据删除。

传统的重复数据删除技术通常不适合在线软件或主存储软件,因为进行重复数据删除所需的算法不可避免的会加长响应时间,这样就导致了费用增加。举例说明,流行的重复数据删除方案比如那些来自Data Domain、ProtecTier (Diligent/IBM)、Falconstor和EMC/Avamar的解决方案并未被用于减少在线存储器的容量。

有三种主要方式实现在线存储器优化、减少容量需求并提高整个存储效率。尽管业内通常使用如重复数据删除(例如针对NetApp A-SIS)和单实例这样的术语,通常,Wikibon所提到的在线数据压缩或主存储压缩是从一个较宽泛的角度来说的。这些数据删除技术指的是如下类型的解决方案:

NetApp A-SIS和EMC Celerra或采用“data de-duplication light”或采用嵌入存储阵列的单实例技术;

主机管理的离线数据精简方案,例如Ocarina Networks;

来自Storwize的在线数据压缩设备;

与某些备份数据精简方案不同,这三种方式采用无损数据压缩算法,这意味着从数理角度看,可经常进行字节重组。

这几种方法都有自身的优点和缺点。最显著的优点是降低了存储成本。然而,每种解决方案都在网络上增加了新的技术层级,导致系统的复杂性和风险增大。

1.基于阵列的数据精简技术

基于阵列的数据精简技术,例如,在数据被写入时,A-SIS在线运行,减少主存储容量。WAFL(NetApp的任意位置写入文件布局技术)的重复数据删除功能可实现写入时对4K数据块复本的识别(创建4K数据块的32-bit弱数字信号,接着一个字节一个字节地进行对比以保证不出现hash冲突),并将其放进元数据的一个签名文件。这一复本识别任务与快照技术相似;在控制器资源充足的情况下,是在后台进行的。其默认每24小时进行一次,每次更改的数据量可达20%。

A-SIS在线数据精简技术解决方案有三个主要缺点,包括:

采用A-SIS,重复数据删除技术仅能在单一flex-volume(而不是传统数据卷宗)内实施,这意味着候选数据块必须是位于同一数据卷宗中的可对比数据块。重复数据删除是基于数据量为4K的固定数据块,而非IBM/Diligent任意数据量的数据块均可实施这一技术。这就限制了重复数据删除技术的潜力。

当把A-SIS和其他多种依赖软件的快照技术一起采用时,限制较多。快照在重复数据删除之前进行,在这种情况下,重复数据删除的候选数据块就被限定,以保持数据的完整性。这就制约了空间节约的潜力。尤其是,NetApp的重复数据删除技术无法实现空间有效的快照。

上述重复数据删除的运行费用意味着A-SIS将不再是高利用率(可实现利益最大化)的控制器。这使得进行元数据精简的费用增加了近6%。

为充分利用功能优势,用户被锁定采用NetApp存储器。

IT经理应该注意到A-SIS是ONTAP(公司存储操作系统)的NetApp Nearline组件不收费标准。

2.主机管理的离线数据压缩方案

Ocarina是主机管理在线数据精简技术的一种。其包括一个脱机流程——通过设备读取文件,压缩这些文件然后写回磁盘。当需要某一文件时,另一设备重组数据并将其传给应用软件。这一方法的好处在于压缩水平很高,因为这一流程是离线的,采用了更多robust算法。精简比率的合理假设是只读网络环境和最初ingest比率为3-5:1。然而,由于在数据写入时有重组需求,经典产品环境的精简比率为2-3:1。

主机管理的在线数据精简技术有以下五个缺陷:

方案花费并不小,这是基于购买数据压缩所需设备和服务器成本。在只读或write-light环境中,这些成本支出是必须的。

为了获得上述功能优势,所有的文件必须经过ingest处理,这一过程速度很慢。

在所有的文件被读取和修改后,再像未压缩一样重新写入磁盘。为了实现成本节约,文件必须重新压缩。这种情况下,可采用这一方法只能是只读或者write-light环境。

Ocarina当前只支持文件,不像NetApp A-SIS既支持文件也支持基于数据块的存储器。

解决方案的伸缩性不强,因为其精简流程与备份、再生相关,因此数据转移过程相当复杂。

为了平衡,类似Ocarina的解决方案适合读取密集型应用软件,且应该避免用于更新速度较快的环境(包括打印)。

3.在线数据压缩

Storewize提供了在线数据精简技术,一个设备位于服务器和存储网络之间(详见Shopzilla的结构)。Wikibon成员指出依据经验,合理的压缩比例为1.5-2:1。

Wikibon调查显示,Storwize数据精简方式的主要优势在于响应时间很短(大约为几微秒),同时性能有提高。存储器性能得以提高,因为压缩过程是在数据进入存储网络之前进行。因此,存储网络中的所有的数据都被压缩,这意味着被发送到存储区域网络、内存、内置阵列和磁盘的数据量变少,将存储资源需求和备份窗口减少了40%甚至更多。

Storwize数据精简方式有两个主要缺陷:包括:

设备和网络重新设计以配置压缩设备的成本。Wikibon协会估计净投资收益将高于30TB。

灾难恢复过程过于复杂,对于有数据重组(re-hydration)计划的用户尤其如此。

为了平衡,Ocarina或Storwize数据精简的优势是其可用于任何基于文件的存储器(例如不同种类的设备)。NetApp和其他基于阵列的解决方案限制了用户采用其他供应商的产品。但这也有好处。比如,由于已经整合,因此配置简单。

因为其后处理/集中ingestion方式,Ocinara的精简方式最适合读取密集型环境,可获得最佳精简比率。Storewize的压缩水平最高,而企业数据中心的投资回报一般来说为30TB或更高。

在线数据精简技术正以很快的速度成为主流存储设备。存储系统主管应该熟悉上述精简方式和这一领域的供应商技术,继而提高对存储供应商提供容量最优化技术的要求,以控制存储成本。

【编辑推荐】

  1. 高容量光存储技术满足企业用户需求
  2. 离线数据存储技术减轻IT管理员压力
  3. 如何选择合适的业务持续性服务
  4. 中小企业远程存储的优劣分析
  5. 让你轻松上手硬盘管理

相关资讯

今日微信独家

《华尔街日报》报道日前援引知情人士的消息称,由于被美国政府以国家安全问题为由进行调查,联想斥资23亿美元收购IBM低端服务器业务的交易陷入了停滞状态。
关注新浪官博 订阅微信订阅号

订阅焦点周刊

论坛与活动

2016中国数据加速峰会直播专题
2016中国数据加速峰会直播专题[详细]
点击查看

精彩视频

最新文章

1111111
1111111
asdasd
asdasd
同有科技应用型大数据存储在南京掀起智能风暴
同有科技应用型大数据存储在南京掀起智能风暴
斯蒂芬斯蒂芬
斯蒂芬斯蒂芬
京东双11技术备战 构建多中心交易系统
京东双11技术备战 构建多中心交易系统