WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

新闻资讯 > 大数据 > 正文
图书馆有一种技术叫分布式集群存储
作者: 佚名 2016-12-23 11:14 【分布式集群存储】

我们的故事从图书馆开始

我上学那阵儿,互联网和手机还远没有现在这么普及。图书馆可以说是我们当时获得课外知识的唯一途径。所以那时候学校的图书馆对于我们学生来说有着很大的吸引力,所有同学有事没事都爱去图书馆,那时候的图书馆每天都座无虚席,关于图书馆的传说流传特多。

时过境迁,随着互联网、手机的发展,学生获取知识的途径也越来越多,图书馆对于很多人来说似乎已经失去了原有的魅力。

没想到,现在的图书馆竟然是这样的

随着毕业、工作、结婚、生子,图书馆离我越来越遥远。对图书馆的印象更多的还是停留在上学时候:一排排古旧的书架抵着房顶,戴着老花镜的管理者不断的将散落的书籍按照编号重新放好,借阅的人或坐或站,捧着图书阅读。

(20年前的图书馆)

原本以为自己与图书馆的交集会越来越少,但没想到,前段时间某高校图书馆电子资源库建设项目让我有了与图书馆的又一次接触,也让我重新认识了现在的高校图书馆。

原来,传统的图书馆在信息化浪潮中也在不断进化。随着信息技术的发展,需要存储和传播的信息量越来越大,信息的种类和形式越来越丰富,传统图书馆的机制显然不能满足这些需要。因此,人们提出了数字图书馆的设想。数字图书馆是一个电子化信息的仓储,能够存储大量各种形式的信息,用户可以通过网络方便地访问它,以获得这些信息,并且其信息存储和用户访问不受地域限制。大大丰富了广大师生阅读的方式和内容,现在的图书馆也到处充满了科技的气息。

(现在的图书馆)

图书馆电子资源库现状问题

由于对图书馆的那份感情和对现在图书馆现状的好奇,我们整个项目组详细研究了解放军信息工程大学、河南财经政法大学、郑州航空工业管理学院图书馆电子资源库建设的招标情况。

在调查研究中我们发现,虽然现在的高校图书馆已走在了信息化的路上,但是随着数字化建设的逐步加深,整个系统在资源整合方面还是面临着各种挑战。

(大数据时代)

图书馆存储了海量数据,是一种典型的大数据资源系统。当前,大数据环境下的图书馆主要存在两方面的问题:(1)数据存储问题;(2)数据的实时访问、处理以及推送问题。如何有效地组织并分析海量数据,提升对读者的服务质量,这就需要将分布式大数据处理技术引进到当前的图书馆系统中,为数字图书馆的建设服务提供保障。

对症下药,同有分布式集群云存储解难题

针对放军信息工程大学、河南财经政法大学、郑州航空工业管理学院图书馆电子资源库建设情况,我们决定将图书馆客户的IT系统挑战具体细化,然后再跟进客户需求去进行改进。我们发现,图书馆电子资源库系统的挑战有以下几点:

1.电子资源库种类繁多,传统物理机部署资源浪费严重;

2.电子资源库内容逐年增加,存储扩容需求频繁;

3.智能检索效率要求日益提高;

4.独一无二的自建数字化资源的本地存储及数据保护;

5.海量数据运维管理任务繁杂;

根据调查情况,在对电子图书馆的数据中心存储系统招标项目中,我们建议可通过利用FC-SAN双活存储来存储电子图书馆中的结构化数据和虚拟化平台操作系统或虚拟桌面映像数据,利用分布式存储系统来存储大量非结构化数据。如下图:

最终,利用我们同有科技提供的集群分布式云存储很好地满足了客户的需求。构建了高安全、高I/O、高可靠、易整合、易管理的存储系统。同时提供并行的数据存取服务,有效提高了存储利用效率,性能提升30%,满足大量电子资源库数据并发存取的需求。

为方便运维管理,整个集群系统提供全局统一的系统映像命名空间,减轻管理人员运维压力,相比原来的维护时间减少50%。同时在无需同等大小数据保护容量的情况下,依然能够消除单一故障点造成的数据丢失,保证系统持续运行的同时提高投资效益。

最重要的是,采用这样的系统,整个集群系统未来能够进行横向扩展,允许动态增加单台存储设备,扩容过程无需中断应用的正常使用,系统自动平衡存储容量,有效提高存储系统空间使用效率。

同有,为推动数字图书馆发展贡献自己的力量

一个现代图书馆拥有类型众多的数字资源,不同的数字资源拥有不同的检索系统。随着数字资源的不断增多和数字图书馆的发展,越来越需要一种将这些不同数字资源进行整合管理的新型存储系统。

同有科技NCS10000云存储系统是同有科技自主开发的高带宽、高可用、分布式集群文件系统,适用于图书馆电子资源库从数据量、性能、安全性以及可管理性要求越来越高的业务场景。

同有科技是国内第一家A股上市的专业存储产品和大数据基础架构供应商,是国产存储市场占有率始终保持领先的专业存储厂商,自从进入图书馆行业以来,也得到了众多客户的一致好评,我们也将继续努力,为推动数字图书馆发展贡献自己的力量。
 


标签:大数据 

LecVideo
论坛与活动