近年来，随着遥感技术的快速发展，多传感器、多时相、高空间分辨率、高光谱分辨率的遥感地质数据体量变的十分庞大，仅某一地区一个时段的一景卫星影像就可达几个GB，若对某一地区多个时期不同类型遥感地质数据综合分析、融合处理，其数据量将成几何倍数增长。
传统单机存储大数据量遥感地质影像数据时，文件读写处理速度受限于单台计算机性能，单机数据存储与处理方式效率低下，已无法满足快速处理海量数据的需求。而且，传统的关系型数据库(如：ORACLE、MySQL、SQLServer等)主要以表的形式存储结构化数据。而遥感地质数据主要形式是非结构化的光谱反射率数据、卫星影像数据等，这类数据很难通过传统关系型数据库进行存储。
近期，联创信安为北京鼎新盛通数据科技股份有限公司规划的地质大数据解决方案，分别从存储类型、存储容量、存储性能、可扩展性、分级存储五个方面着手，帮助海量遥感地质大数据的存储、管理和使用更加安全高效。
一、存储类型： 卫星遥感地质的数据处理系统对存储类型需求多样。卫星遥感地质的原始数据主要为巨大的非结构化的文件数据，这些原始数据的存储、处理需要基于文件系统的非结构化存储系统作为支撑;经处理后的结果数据，通常需要导入数据库用于后期查询和应用，需要结构化存储系统来支持;此外，整套系统也有数据归档备份相关的需求，需要相应的数据归档备份存储系统。
二、存储容量：
卫星遥感地质的原始数据量非常巨大，取得这些数据的成本和代价高昂，数据的重要性非常高，需要海量的存储系统对数据进行保存。从目前的应用情况看，有的系统对存储容量的需求会高达上百PB级。 三、可扩展性： 卫星遥感地质数据是海量的，且存储容量和存储性能随着业务量的增长而增长。通常一套系统的建设初期数据存储和处理量不大，但未来会出现爆发式的增长。如果采用一次性投入的方式，前期会造成较大的资源浪费，后期存储系统容量及性能不足的时候又较难扩展。因此，较合理及高性价比的方案是采用分批建设，这就要求整套存储系统具有及高的可扩展性，最好能支持在线扩展，避免扩展时对业务系统造成中断。同时，系统扩展时需要做到存储容量和性能的线性增长。
四、分级存储：
卫星遥感地质的数据量非常巨大，合理的分级存储机制同样是降低系统整体成本，提高效率的有效手段。存储系统可分为在线、近线、离线等部分。在线存储系统的性能最好、容量相对较小，主要用于存储和处理“热点数据”，近线存储系统的性能相对较低，容量较大，主要用于存放较少访问的数据;离线存储一般为数据归档备份系统，用于对历史数据进行归档，或者对关键数据进行备份。
五、存储性能：
卫星遥感地质的数据存储及处理对存储系统的性能要求很高，特别是并发IO带宽。主要针对原始数据的非结构存储系统，在原始数据采集导入的时候需要较高的写入带宽，需要通过条带化等处理方式加快原始数据写入，避免成为性能瓶颈;原始数据的处理需要频繁的读入原始数据，通常都是通过MPIO等数据并行方式来加快并行处理速度，这需要非结构存储系统提供充足的并发读带宽;对于结构化存储系统，同样有很高的性能要求，卫星遥感地质的数据库非常庞大，前端应用系统对数据的查询调用开销很大，需要通过有效的方式提高数据库的查询性能，减小前端系统的等待时间。
根据对卫星遥感地质领域的大数据需求分析，联创信安采用自主研发的分布式文件存储系统Udsafe PanaStore9700作为大数据平台的主存储系统。
本次项目共使用3台PanaStore9700存储节点。存储系统和前端数据处理节点之间以万兆网络连接，存储系统与遥感高性能计算系统双向聚合带宽30Gb/s以上，消除通信瓶颈提高存储I/O性能，同时存储服务器可以在线增加或移除，不会导致应用的突然中断。逻辑卷可以在所有配置服务器中增长和缩减，也可以在不同服务器迁移进行容量均衡，或增加移除系统。 部署UDsafe PanaStore9700存储系统后，鼎新盛通的文件系统可以在线进行配置更改，帮助用户在不影响其他业务运行的同时，实现空天地大数据平台的存储扩容。其次从遥感地质高性能计算集群中的任意节点访问PanaStore9700存储，可呈现统一的目录结构和命名空间，解决了鼎新盛通空基、天基、地基的数据共享难题。同时可以对遥感地质应用进行数据生产分析，完成鼎新盛通的各类卫星影像数据及应用服务。
备注：北京鼎新盛通数据科技股份有限公司（简称“鼎新盛通”）是国内领先的时空大数据服务专业供应商。公司拥有一流的遥感大数据处理与应用开发团队，以构建高性能、端到端、自动化的时空大数据服务流程为己任，业务范围覆盖遥感时空大数据的数据预处理、数据解译、数据管理、数据发布和数据应用等全过程，为国土、水利、环境、市政、海洋、矿山、林业、农业和灾害等行业客户打造高精度、高时效性的空天遥感数据及应用解决方案。
Related cases
