成功案列 / 行业 /

其他行业

高性能计算解决方案

       背景与挑战


       HPC(高性能计算High Performance Computing,也称超级计算)是石油、生物、气象、科研等行业常用的计算模式,随着CPU 性能迅速提高,标准化硬件成本迅速降低,相对廉价的Linux并行集群系统逐渐成为HPC 的主流,并使HPC 进入更广阔的工业和商业应用市场,如金融证券、政府信息化、电信、教育、企业等。高性能计算是一种数据密集型和计算密集型相结合的应用,对计算和I/O的处理能力都有较高的要求,存储系统已经成为决定高性能计算集群效率的重要因素。随着HPC 应用范围的扩大,高性能计算对存储系统提出了更为复杂的挑战:


      1、数据规模不断攀升

       随着科学研究规模的不断扩大和并行软件的不断发展,高性能计算系统产生了前所未有的海量数据,PB级甚至EB级的数据逐渐增多,给存储系统带来了巨大的挑战。


      2、持续增加的带宽要求

        在HPC系统中,当一个计算任务被加载到HPC系统时,各计算节点首先从存储系统中获取数据,然后进行计算处理,最后将计算结果写入存储系统。在此过程中,计算任务的开始和结束阶段数据读写的I/O负载非常大,GB级的带宽需求非常普遍。以勘探数据处理系统为例,在一个32计算节点的叠前处理系统中,每个计算节点约需要35~50MB/s的带宽,对后端存储的总体带宽(即聚合带宽)要求大约为1GB/s~1.5GBMB/s


       3、数据统一存储与数据共享

       HPC 环境中运行着大量的MPI 程序,往往需要多个计算节点之间协同工作,这就需要存储系统能够提供全局一致的数据映象,并且提供可靠的数据锁机制,以保证可靠性和一致性的前提下实现灵活的数据共享。


解决方案





      采用UDsafe PanaStor集群NAS系统实现数据的统一存储。PanaStor是一套高性能,动态扩展的集群NAS系统,最大支持16个节点,在实现无缝故障切换的同时实现极强的负载均衡,带宽性能高达10GB,可满足多个计算节点并发访问的带宽需求。


      各计算节点经由千兆/万兆网络与集群NAS系统连接,通过标准的NFS协议即可实现数据的共享访问。PanaStor完善的文件锁机制可充分保障在多节点共享访问模型下文件的完整性和一致性;可配置SAS和SATA两种磁盘介质,结合RAID技术、文件镜像技术实现高等级的数据冗余;支持自动化的文件迁移,可以按既定策略实现数据的自动分层;基于其强大的带库管理和数据归档功能,可灵活方便的实现数据的生命周期管理。


      优势与效果

      

  • 先进的集群NAS架构,按需动态扩展,实现容量和性能的同步提升;

  • 多节点MeshActive全活NAS控制器设计,分布式文件锁管理,多重数据冗余设计,实现最佳的可靠性与可用性;

  • PB级的数据存储规模,满足海量数据存储需求;

  • 高达10GB的持续输出带宽,大幅度减少计算任务的数据I/O 时间,提高集群工作效率;

  • 单一命名空间,所有计算节点可共享并访问同一文件系统视图,可即时获取所需的数据,无需进行数据迁移,大幅度提高了集群的使用效率;

  • 无须专用I/O节点和复杂的SAN共享软件,完全基于IP网络部署,无需配置光纤交换机及大量光纤卡,结构更简单,配置更简洁,管理更方便,并能有效降低用户使用和维护成本。





相关案例

Related cases

更多案例