成功案列 / 行业 /

其他行业

数字图书馆

       方案背景


       经过多年的发展,某高校已拥有丰富的数字化期刊,文献库资源,同时,多年的科研教学工作也积累了众多宝贵的学术资料,基于数字图书馆丰富的数字化资源,该校陆续开通了网上教学,FTP下载,VOD点播,网上图书馆等系统,不仅发挥了数字化资源的更大价值,也丰富了数字化图书馆的应用,提升了学校的综合实力。


        随着学校规模的不断扩大,学校的师生日常工作学习过程中与数字图书馆系统的交互访问不断增多,存储系统压力日益增大:老旧的存储设备也开始故障频发,且短时间内难以恢复,给全校师生的使用带来较大的影响;后端存储的性能也难以匹配日益增长的师生访问量,在晚上访问高发时间段,数字图书馆各子系统访问速率会出现明显的下降,甚至出现临时性中断;随着高校的社会教育功能日益凸显,越来越多的人开始通过网络分享该校优秀的数字资源;进一步加剧了数据存储系统的访问压力;同时,网络教学模式要求的相关IT系统提供持续服务能力,带来了数据变化的实时性,备份的可用窗口也进一步缩减,传统的脚本备份方式面临操作复杂,备份窗口长,恢复时间长的问题,很难适应数据的快速变化并实现数据的有效保护;由于缺乏数据容灾系统,一旦出现站点级灾难,学校多年积累的管理,科研及教学资源将付之东流。


       依据对教育行业数字图书馆IT应用模式及特点的深入分析,结合多年来在该行业咨询,规划及实施经验,我司为该校量身定制针对数字图书馆的集数据存储、数据备份、业务连续性保护以及远程容灾于一体的典型性解决方案。


       解决方案(PanaStor9300+SDOP4100)





方案要点


数字图书馆.jpg



       方案介绍


       本方案采用UDSAFE PanaStor集群NAS系统构建一个动态可扩展,多节点负载均衡、故障自愈的集群NAS存储架构,实现此类数据的统一、高效存储。UDSAFE PanaStor集群统一存储系统可构建一套高性能、可扩展、集中化、弹性可扩展的云存储平台。采用虚拟化的资源管理,具有弹性的扩展能力,可按需实现容量,性能的线性扩展,可从较小的数据与性能配置升级到海量存储规模和超高的带宽、iops平衡性能配置,满足不同业务时期的数据存储规模与效率要求。


       PanaStor在逻辑上可分为SAN存储功能模块与NAS存储功能模块,可分别满足数字图书馆业务系统中的结构化索引数据和非结构化的图片、文本、扫描件、视频等数据不同的存储特点和需求。


       SAN存储部分基于FC网络开展数据服务,数字图书馆系统中的索引编目信息属于典型的结构化数据,一般采用数据库的形式来组织数据,此类数据的特点是数据量不大(一般在TB级以内),但数据的并发访问和随机读写程度较高,要求存储系统能够以较低的延迟提供较高的随机并发访问性能,因此采用SAN+SAS磁盘是比较理想的配置组合,可以将数据的表空间、redo、归档日志等全部放置于SAS磁盘组中,采用RAID10机制进行高效、安全的数据存储。


       数字图书馆系统中比重最大的数据是非结构的文档数据,取决于数字图书馆系统的服务规模,数据体量从TB级到PB级不等,且此类数据呈现出数据规模大,数据类型庞杂,文件数量多,共享与检索要求高的显著特点,针对此类数据,NAS系统是最佳的存储选择,结合数据规模与数据效率的不断提升需求,可动态扩展的集群NAS可完美承载存储、共享、检索的多重需求。可采用SATA磁盘,配置RAID5+Hotspare或RAID6,既能以相对较低的成本满足数据容量的需求,又能实现较高的I/O性能。


       在云计算模型下,会有多台服务器组成档案处理集群,在此应用中,采用SAN模式不仅建设成本高昂,维护和管理也极其复杂,采用传统NAS则又会面临扩展性、数据存储能力、性能方面的制约,采用基于集群NAS技术的云存储架构则可以通过近乎无限的扩展能力轻松为用户构建一个海量、分布式、虚拟化的动态资源池,并在逻辑上向无限数量、不限类型的主机呈现为统一命名空间,从而解决多主机、跨平台、大数据量、海量文件并发的存储和共享难题。


       PanaStor集群统一存储系统对于架构与数据安全亦有充分的考虑,主要体现在以下几个方面:


       1、集群架构,多节点协同工作,避免节点级的单点故障;

       2、采用成熟的RAID机制进行数据保护;

       3、可选采用多副本机制进行存储级的数据复制;

       4、访问安全,具有丰富的权限管理功能,可实现存储的分区或分域模式,授权用户只能访问授权的资源,可与AD、LDAP、NIS等权限管理机制充分集成;

       5、可灵活设定卷的读写权限;

       6、可在传输层面实现完全独立于业务网络的数据专网,并整合SAN的Zoning或以太网的IP-SEC,CHAP等功能;

       7、磁盘加密功能,可实现是数据块级的信息加密;

       8、可利用存储系统自身的快照、复制功能实现进一步的数据保护;

       9、完善的磁盘定期扫描与校验修复机制,确保能够定期检查,主动发现,智能纠错。


       按照业务和数据系统的规模、性能需求,UDSAFE PanaStor集群统一存储系统有三类典型配置:


       性能型配置:NAS存储单元与SAN存储单元均采用虚拟化可横向扩展的组件(典型产品为PanaStor+ESS780),针对数据库和文档应用,都可实现近乎无限的容量和性能扩展,这是一种最大规模、最佳弹性、最高性能的配置,成本也最高;适合于规模较大、数据库和文档性能都非常高的数字档案应用环境;


       均衡型配置:NAS存储单元采用虚拟化可横向扩展的组件,SAN存储单元则采用高性能的中高端磁盘存储单元(典型产品为PanaStor+ESS650),高性能的SAN存储单元一方面提供容量和带宽,另一方面为结构化数据提供共享存储,在文件数据巨大的情况下,索引数据的处理与检索可能成为瓶颈,需通过SAN网络扩展;该配置容量、性能、成本较为均衡,适合于大部分数字档案应用环境;


       经济型配置:NAS存储单元采用虚拟化可横向扩展的组件,SAN存储单元配置的中低端磁盘存储单元(典型产品为PanaStor+ESS630),在这种配置下,这种配置的横向扩展主要通过NAS存储单元实现,针对非结构化数据同样可实现惊人的处理规模与效率,但SAN存储单元的性能与数据规模相对前两种较小,实现一定的数据规模与数据效率,要求配置更多套SAN存储单元,集群内部的连接与拓扑相对复杂,但成本最为经济,适合于规模较小或建设预算较低的数字档案应用环境。


       上述三种配置,针对非结构化的文档应用,都可以实现虚拟化的资源管理,近乎无限的容量和性能弹性扩展,满足海量非结构化数据的处理、共享和大量文件的组织、检索要求。


       PanaStor支持2-16个节点,可实现有效的故障切换和负载均衡,是一套高可靠,高性能,动态扩展的集群NAS系统;支持200亿个文件和PB级存储能力,可有效承载网站海量小文件存储;采用分级存储的磁盘设计,通过SSD、SAS、SATA三种成本、性能各不相同的磁盘分别满足最高性能数据(热点数据)、较高性能数据(温数据)和一般性能数据(冷数据)的存储需求,并通过PanaStor的智能数据分层功能,根据访问频率,时间等多种条件进行自动化的数据迁移,以动态实现数据结构的最优化和系统性能的最佳化。PanaStor采用控制引擎与存储模块分离设计,存储模块保留了传统磁盘存储系统的可靠性设计和RAID功能,可有效保障数据安全。同时,PanaStor支持条带化和镜像化的文件写入模式,结合后端RAID功能,可实现8份数据、4份数据、2份数据、1份数据等多种数据副本策略,数据副本策略还可和数据迁移功能相结合,实现文件副本数目的自动增减,便于云计算模式下不同服务等级的设置。




       得益于自动化的排程快照功能,可设定时间策略,对存储在PanaStor的数据定期进行快照保护,充分抵御各类数据逻辑故障,并保障分钟级的近线恢复能力。


       PanaStor支持NFS、CIFS、HTTP、 FTP等丰富的协议,便于各类windows、Linux、Unix客户端的灵活接入和各类文件共享业务的灵活开展;内置的智能迁移模块可根据数据的访问频率实现快速的自动分层,优化数据存储架构。PanaStor支持标准的NDMP协议并内置归档模块,可直接连接UDSAFE VTL虚拟磁带库系统,实现海量数据的高速备份和智能归档。虚拟带库可以直接连接传统物理磁带库,实现虚拟磁带到真实物理磁带的智能数据导出,便于磁带离场管理。


       数据容灾的实现同样简洁高效,利用PanaStor系统的智能复制功能,可实现1:1、1:N等模式的复制,迅速实现主数据中心数据在同城或异地的容灾。


       通过以上的分析不难看出,基于PanaStor可构建一个涵盖本地和远程,能够从按数据访问频度和数据保留周期特点智能实现数据动态分布的智能化存储保护平台,有效实现海量非架构化数据的存储、共享、备份、分发,容灾及生命周期管理。


 



       对于ILAS,教育科研系统及等关键应用,采用双机热备软件保障其7*24小时在线,从而保障其持续服务能力。


       数字图书馆的期刊,文献,资讯库等数字资源一般都是通过光盘的形成导入系统,这部分数据变化较少,且有完善的光盘备份,一般不需要再做额外的数据备份,但现代数字馆系统中还活跃着大量其他类型的数据,如索引数据,教学科研数据,注册用户信息数据等,且这些数据具有明显的动态变更的特性。针对此类数据的备份及容灾,方案亦有充分的考虑。通过部署在校园网中的联创信安实时备份与快速恢复系统(UDSAFE SDOP)实现数据的快速实时备份与高效容灾。在数字图书馆部署一套UDSAFE SDOP4100F,将各业务系统中的Windows操作系统数据及应用数据(包括数据库数据)在线实时备份到SDOP4100F自带的大容量存储中。SDOP4100F系统会为这些操作系统数据和应用数据创建多个版本的快照,从而保证了各业务系统的操作系统和应用数据的安全,并且可以做到任意时间点的恢复。SDOP4100F同时接入局域网和SAN网络,通过IP网络实时同步业务数据的变化,利用强大的SAN映射功能,SDOP4100F通过高速光纤网络将某一时间点的数据或系统映像映射给前端业务主机,可在3分钟内恢复数据,5分钟内恢复windows操作系统。


       在灾备中心部署另一台SDOP4100F,利用SDOP 4100F系统的远程容灾功能,自动同步生产中心和灾备中心的数据。可将本地SDOP4100F中保护的系统和应用数据通过IP容灾链路持续复制到远程灾备中心的SDOP4100F设备中,实现分钟级的RPO和RTO。


       方案优势


       该方案立足于数字化图书馆信息基础架构规划与实践,着眼于安全,优化,业务连续三大主题,在实现数字图书馆的立体信息管理的基础上助理IT运营效率的提升,最终推动学校的管理及运营效率。具有如下整体优势:


  • 一套方案完整实现业务连续,信息可靠存储,及数据的有效灾备多个技术和管理主题,具有整体性和全局融合性;

  • 借助分布式集群存储技术实现存储规模化,性能最优化,满足数字图书馆海量数据统一存储与资源集中管控的需求;并具备高度灵活的横向扩展存储体系,动态可扩展的信息存储架构,自动精简的存储容量规划与管理,满足数据中心当前与未来动态信息管理需求;

  • 使用业界最前瞻的存储架构与产品,利用分层存储(Tier)技术,应对数字图书馆类型多样,数据模型与业务逻辑复杂,数据存储性能要求严苛的需求特点;

  • 整体规划,存储/备份/容灾/应用保护统一考虑,构建安全的信息架构,满足数据安全,数据效率与业务持续的多重需求;

  • 利用UDSAFE SDOP实时备份与快速恢复系统实现高效,富于性价比的智能数据灾备,构建一套先本地备份再异地容灾的创新灾备体系,从而实现层次化的数据保护,有效降低灾备中心的启用机率;

  • 全面而高效的信息保护体系,从系统,数据,应用三个层面保障信息系统的整体安全,基于数据数据镜像,数据实时同步,CDP等新一代数据保护技术,实现数据的高效备份及容灾,利用IP链路,以较低的成本实现了较高分钟级的RTO和RPO;

  • 数据增值功能,可采用备份或容灾数据进行数据分析,数据挖掘,提升数据价值,可随时进行恢复演练;

  • 良好的投资保护,今后新增设备或应用,只需增加许可模块,即可融入当前的存储灾备系统,一次构建,长期受益;

  • 选用成熟可靠,技术优势突出的软硬件产品,保障方案的整体可靠性和可实施性,并在一定时间内保持技术领先性;

  • 综合考虑成本,性能,总体IT投资等多方面因素,结合应用及数据自身特点,为用户推荐最适用的产品。






相关案例

Related cases

更多案例