新闻资讯 更多+
1、存储系统的概念、组成及分类:
(1)存储系统的概念及组成部分:存储系统是独立于计算服务器,用于存储和管理计算服务器工作所需的海量信息和数据的软硬件一体化设备。存储系统通过网络挂载多台计算服务器,为多台计算服务器提供海量、统一、共享的存储空间,在此存储空间中提供数据读写和管理功能。
存储系统产品一般为机架式形态,主要由两部分组成。第一部分为存储控制器,存储控制器内部署了处理器、缓存、多种网络接口等组件以及存储操作系统软件。第二部分由磁盘柜和磁盘等存储介质组成,提供海量的存储空间。
存储控制器负责连接外部服务器,管理底层的存储资源,接收和执行服务器发出的数据读写命令,并通过内嵌的各类存储软件实现存储空间的多样化管理。存储系统是一种软硬件结合的设备,通过嵌入存储操作系统和文件系统的
存储控制器对存储数据进行管理,为大量计算服务器提供统一、共享的存储空间。存储系统由存储硬件和存储软件组成,具体组成及介绍如下表:
(2)存储系统的常见分类:存储系统按支持的存储网络协议类型一般可以分为NAS存储系统、SAN存储系统和统一存储系统。各类存储系统的定义及说明如下:
存储系统按拓展方式及数据存储的集中度不同一般可以分为集中式存储系统、分布式存储系统。各类存储系统的定义及说明如下:
随着存储系统技术的不断发展和数据量的爆发式增长,存储系统进一步从传统的集中式存储系统发展出新一代的分布式存储系统。分布式存储系统相较于传统集中式存储系统更适合当前数据量爆发的数据存储需求,逐渐成为当今存储系统的主流趋势。
中金企信国际咨询公布《2021-2027年中国存储系统市场竞争策略及投资潜力研究预测报告》
2、数据库管理系统的概念、组成及分类:数据库管理系统为一般以数据库系统为核心,还包括ETL、迁移、备份等工具软件。
(1)数据库软件的概念:数据库软件一般是指数据库管理系统,也可简称为数据库。数据库系统是用于建立、使用、管理和维护数据库的软件,具有三个基本特点:永久存储、有组织和可共享。
(2)数据库软件的常见分类:按照数据库软件的数据存储结构可以分为关系型数据库和非关系型数据库:
按照数据库软件的架构通常可以分为全共享(Share Everything)、共享磁盘(Share Disk)和无共享(Share Nothing)三类:
3、存储系统发展历程和市场规模:
(1)存储发展历程:自计算机出现后,存储与其他计算机核心部件一样经历了长期、多代的变革。具体来看,存储的发展历程可分为以下几个阶段:
①第一阶段:存储介质技术定型:存储发展的第一阶段是以存储介质的发展为主导的阶段。自20世纪中叶诞生了计算机存储以来,为实现存储商用并满足在性能、保存信息时长等方面的要求,存储介质一直处于发展之中,先后出现了选数管、穿孔卡、穿孔纸条、磁带、软盘、光盘、磁盘和半导体等存储介质。最终,光盘和磁盘技术发展成为了社会存储介质的主流。
②第二阶段:企业级存储系统及消费级存储独立发展:第二阶段,社会进入了互联网时代,日益发达的互联网催生了第一轮信息爆炸。虽然单个光盘或磁盘的容量在此期间逐渐增大,可达到单盘上百GB甚至TB水平,但是仍然不足以满足信息爆炸带来的存储需求。于是,磁盘阵列技术和存储网络技术得到了快速的发展。磁盘阵列技术将大量磁盘组合在一起,重新定义为一块具备海量存储容量的“大磁盘”,并且可实现多块磁盘同时并行读写,较大的提升了单个计算系统在存储方面的数据存储容量和数据处理速度,也初步使个人消费级和企业级存储系统出现差异化,具体不同点比较如下:
在此阶段,存储网络架构和技术的快速发展,进一步促进了面向海量的企业级存储系统的发展。由于存储网络架构和技术的出现,存储逐渐从服务器主机的架构中脱离,成为了计算机体系内独立的存储系统。存储系统自带控制器负责存储系统内的计算任务,并通过DAS、NAS、SAN等存储网络协议实现存储系统内部以及存储系统与应用服务器等存储系统外部设备间的通讯。在SAN、NAS等存储网络协议的支持下,企业级存储系统架构可以进行纵向扩展(Scale-up),可以在单个存储节点上增加挂载的磁盘等介质数量,从而实现存储空间的增长,满足企业对存储空间不断增长的需要。
③第三阶段:分布式存储系统主导:第三阶段,随着云计算、物联网、人工智能等技术的不断发展,社会进入了大数据时代,每日产生数据的速度持续加快,社会积累的数据规模进一步爆炸。同时,新一代信息技术也将数据的应用和分析变得更加复杂,快速读写海量、异构数据的需求暴增。在此背景下,传统集中式存储系统由于只能纵向拓展存储空间,而数据处理性能受控制器性能的瓶颈限制并没有增加,所以难以支撑大数据时代下的数据存储和处理需求,分布式存储系统应运而生。
分布式存储系统与传统集中式存储系统最大的不同在于其采用了可横向拓展(Scale-out)的集群架构,以一套存储池和控制器组成的传统集中式存储系统为一个节点,实现了多个节点的联合扩容,在增加存储资源的同时补充计算资源,可以将数据分散存储在多个独立的存储系统节点上,各个节点协同合作,统一对外提供存储服务,为处理更加复杂的大型数据处理任务提供了可行性方案。
分布式存储系统的核心是分布式存储系统中部署的分布式文件系统软件。由于数据被存储于多个分布式存储系统的节点上,因此,分布式存储系统中必须依靠分布式文件系统负责多个节点间数据的分配存储、管理和维护,并保证各个节点间的数据一致性,避免系统崩坏。由于分布式存储系统面临文件和数据分配到多个节点所需考虑的数据一致性、负载均衡、高并发、高可用性等问题,同时还要保持文件系统的性能,开发普遍适用的分布式文件系统具有较高的门槛。目前主流的分布式文件系统为Ceph、GFS、Lustre、AFS等开源分布式文件系统。我国存储系统厂商所使用的文件系统多基于以上开源分布式系统开发,只有少数企业拥有具备完全自主开发的分布式文件系统。
目前,我国已经迈入大数据时代,随着全社会数据量的持续增长,对计算、存储性能的要求将持续提升,并且对跨域数据存储和调用需求也越来越多,单节点的传统集中式存储系统性能将难以继续支撑大数据时代的存储需求,分布式存储系统将成为市场主导。
(2)市场规模:现代信息化基础设施架构的核心包括计算、存储和网络三部分。在大数据时代,随着物联网、人工智能技术的发展,海量数据逐渐成为分析、决策和用的基础支撑,越来越多的数据被采集。随着数据量出现指数级的爆发式增长,存储设备的性能增长明显落后于由芯片主导的计算性能发展和网络发展。根据研究资料:当前企业数据仅有不到2%被保存,数据存不下的问题日益严重,因此突破数据存储的瓶颈对于大数据时代的发展处于极其重要的地位。
得益于国防军工、金融、政务及其他各个行业的信息化建设的提速,以及面对海量数据挑战下对传统存储系统的换代与升级,预计我国存储系统市场需求将保持旺盛增长的态势。此外,国家大力支持新基建的建设与发展也为数据基础设施产业的发展提供了良好的发展环境,并催生出大量市场需求,促进该产业市场规模持续增长。预计中国企业级存储市场将于2023年达到60亿美元,2019-2023五年内年复合增长率6.9%。
近年来,我国国产存储厂商品牌发展迅速。但从自主可控的角度来看,我国国产存储系统厂商在技术自主创新及自主可控方面仍然面临较大挑战。随着我国对信息安全以及对基础设施自主可控的要求越来越高,我国国产存储系统厂商的市场份额将进一步上升,并且拥有自主创新技术实力的国产存储系统厂商将迎来更好的发展机遇。
4、数据库管理系统发展历程和市场规模:
(1)数据库管理系统发展历程:数据库系统是数据库管理系统的核心部分,数据库系统的发展与计算机软硬件技术的发展以及社会数据规模的持续扩大息息相关,其历程可分为以下几个阶段:
在计算机技术发展初期,计算机主要用于科学计算。在存储设备尚处于存储介质发展变革的阶段时,数据存储和使用方式尚不成熟且不断变化。因此,数据管理主要由人工进行管理,不存在信息化管理方式。
随着磁盘技术的出现和定型,磁盘成为了主流的存储设备,计算机技术也得到了快速发展,出现了专门用于管理软件的文件系统。文件系统可以把磁盘中存储的数据组织成相互独立的数据文件,利用“按文件名访问,按记录进行存取”的管理技术,提供了对文件进行打开与关闭,对记录读取和写入等存取方式。但是,文件系统的数据管理方式下,一个文件只能对应一个应用,各应用不能共享相同的数据,因此数据的共享性差、冗余度大、独立性较差,也无法实现复杂的数据搜索等功能。
随着信息技术的不断普及和发展,计算机在日常办公和生活中的应用越来越普遍,管理的对象规模也越来越大。由此导致单机处理的数据量急剧增加,应用数量快速增长,联机工作也越来越普遍。在这种背景下,以文件系统作为数据管理手段已经不能满足应用的需求,为了解决多用户、多应用共享数据的要求,出现了统一管理数据的专门软件系统,即数据库管理系统。
数据库管理系统的诞生推动计算机应用进一步发展。同时,人们对计算机数据处理的需求也不断升级,例如从文字处理,到图像、音频、视频等信息处理,从单应用程序中的数据查询和管理到现在的大数据搜索、管理、处理等。在数据处理和管理需求的不断推动下,数据库技术、数据库软件也为满足上述需求而不断快速发展,陆续出现了关系型数据库,以及面向对象型、图数据库等非关系型数据库。
中金企信国际咨询公布《2021-2027年中国数据库管理系统市场发展策略及投资潜力可行性预测报告》
(2)数据库管理系统市场规模:随着我国企业数字化转型的进程不断加快,越来越多业务场景、设备等被数字化,并在大数据、物联网等新一代信息化技术的作用下不断衍生出越来越多的数据可视化、数据分析、商业智能等应用,对数据库的需求不断提升。预计中国数据库市场空间将于2023年达到39.8亿美元,2019-2023五年内年复合增长率为26.9%。从我国数据库的组成来看,在我国信息化发展初期,以Oracle、IBM、微软为代表的外国数据库厂商凭借其技术的领先性占据了我国数据库管理系统市场。数据库管理系统受制于国外厂商的情况对我国的数据信息安全带来了极大隐患。因此长期以来,国产数据库管理系统技术的突破和国产化替代一直是我国大力发展的重要领域,同时在我国对数据信息安全的重视程度不断提升等因素的共同作用下,我国国产数据库市场得到了快速发展,国内市场中国产品牌参与者不断增多,国产数据库的市场占有率不断提升。除传统数据库厂商外,一方面,通讯、互联网企业因其业务对数据库的特殊需求纷纷布局数据库领域;另一方面,为提升存储系统的使用效果,各存储系统厂商也积极布局数据库管理系统市场,纷纷推出自主研发的数据库管理系统,成为了数据库市场的新兴力量。同时,云化、非关系型、时序、图等新型数据库技术的快速发展,给新兴数据库厂商带巨大的潜在发展机遇。
但是,由于企业信息化业务系统与数据库管理系统的融合度极高,根据统计数据显示,Oracle、微软、IBM、SAP四大国外厂商占我国关系型数据库管理系统市场份额仍高达66.8%。在国产化替代的浪潮下,我国国产数据库厂商具有广阔的发展空间。
5、存储系统和数据库管理系统在国防军工领域的市场应用现状及发展趋势:
(1)存储系统和数据库管理系统在国防军工领域的应用现状:
①世界军事信息化建设情况:随着现代科技的快速发展,世界军事对抗已经不仅仅限于陆、海、空、天、网等领域各自作战。在未来的军事对抗中,信息技术将成为最重要的武器之一,围绕陆、海、空、天、网等不同领域的信息采集、管理、处理、分析以及不同领域信息的“跨域协同、联合作战”能力,信息技术成为未来军事战争中获取胜利的关键能力。
信息融合是现代信息化战争的核心技术之一,高容量、高性能、高可用、高可靠、自主可控的存储系统和数据库管理系统是实现信息融合的基础。多源信息融合一般指对多种传感器信息进行综合处理及分析的理论和方法,已普遍成为国防信息领域一种重要处理手段。以现代战争中导弹防御和防空预警这一类激烈攻防对抗为例,敌我攻防样式多、强度大,通过单一探测手段所得到目标运动状态精准度较差,所以需要运用侦查卫星、机载雷达、地面雷达等多种探测手段得到各类信息进行融合处理方可获取精准的目标轨迹状态,这也是后期制导、打击的基础前提。为了实现现代战争中的多源信息融合处理,建立一套拥有完全自主知识产权,高性能、高可用、高可靠存储系统和数据库管理系统是实现这一目标的基础条件之一。
美国等西方军事强国对军事信息化的布局较早,目前已经建立起一套较为完整的信息化理论框架及信息化体系。以美国为例,美国目前正在建立并完善其基于卫星的太空侦查系统“天基空间监视系统”(SBSS)、空军的“快速攻击识别探测和报告系统”(RAIDRS)、由情报侦察、预警探测、指挥控制、通信等多种功能分系统集成的网络化大型军事信息系统(C4ISR)等关键军事信息系统,以上所有的信息系统均由美国在各地设立的信息中心进行支撑。军事化信息中心及包括存储系统在内的军用信息基础设施是所有军事信息化系统运行的基础支撑环境,负责接收、储存和管理各军事信息化系统的数据,其性能决定了数据接收是否完整、是否能够满足各军事信息化系统使用数据的要求,因此其建设水平直接影响了各大军事信息化系统的应用水平。
②我国国防信息化建设情况:我国国防信息化建设以美国等国际军事大国的发展经验为参考,结合我国国情和不同军事战略需要,正在逐步建立和完善各个国防信息化系统。2015年12月,中国人民解放军战略支援部队的成立,标志着我国国防信息化建设的进入了加速期。战略支援部队是继中国人民解放军陆、海、空、火箭军之后的第五大军种,是维护国家安全的新型作战力量,成立战略支援部队,有利于优化我国军事力量结构、提高综合保障能力,提升军队信息化作战能力,同时也加快了现代化国防工程设施的建设步伐。
随着战略支援部队的成立,我军需要在航天、网络、电磁空间以及信息战等领域进行更加前沿、全面的信息化建设。但从整体信息化建设水平来看,目前仍然处于建设初期,对包括存储系统在内的信息基础设施需求仍有较大的提升空间。并且在信息技术不断发展及信息对抗升级的背景下,新一代国防信息化要求实现对存储信息的快速传输、高速通信、即时决策等功能,对数据存储、数据管理、数据处理等基础设施的能力要求也进一步提升,需求量也将大幅提升。因此,需要不断配合应用需求进行存储系统等基础设施的持续升级换代,未来对包括存储系统在内的信息化基础设施的升级换代需求和扩容需求强烈。
③国防领域对以存储系统和数据管理为基础的数据处理的特殊要求:我国军事信息化系统的建设主要包括以下几方面,各方面的建设均对存储系统和数据管理具有一定的特殊要求。
A.适应立体化的信息采集环境下多源数据存储管理要求。立体化的信息采集是通过侦察机、预警机、卫星、雷达等传感器、预警装备,实现全空域、全天时、多层次的信息采集,并对采集信息进行实时存储、融合处理和快速分发。在这一系统中,大量的多源数据在多种数据采集节点中并发实时产生,存储系统需要进行快速接收、存储、备份等操作,对存储系统架构、带宽、IOPS、时延等指标都有极高的要求。目前的立体化信息采集系统,需要存储系统提供TB/s级的持续稳定读写带宽,超过20,000,000以上的并发IOPS性能,并将I/O延迟控制在10ms之内。此外,信息化对抗体系下要求作战单位对海量情报数据做出快速分析挖掘、即时决策,并以特定的形式呈现给作战人员,具有极高的时效性要求。这就要求信息系统具备在海量数据接收存储的同时,还要具备基于高性能存储系统和数据库管理系统,即刻开展高效的数据挖掘分析的能力。
B.满足信息基础设施栅格化对海量信息的高速处理需求。信息栅格是将陆海军士兵、飞行员、陆战队员和决策层所使用的计算机网络连接而成的全球性信息网,实现栅格网络内任意两点或多点间数据传输的能力,实现整个国防信息化系统的“一体化”。信息基础设施栅格化主要涉及通信与计算能力。通信方面,在地面光纤通信网、卫星通信容量大大增加的情况下,当前的通信能力已经能够支撑高速传输语音、图像、视频等高容量信息;计算方面,信息栅格化的实现需要通过计算中心的设立完成对海量情况信息的高速处理,因此对信息基础设施的数据处理能力有极高的要求。
C.指挥控制系统的跨军种集成对存储系统的兼容性与交互的连贯性提出了更高的要求。统一的指挥控制系统由战术层、战区层与国家层构成,实现了海、陆、空等各军种指挥控制能力的集成,可以有效提高多军种联合作战能力,是国防信息化建设的方向之一。统一的指挥控制系统对信息基础设施提出了两方面的要求:首先,不同军种及不同层次之间构建信息基础设施的标准存在差异,需要提出兼容性解决方案,尤其是在数据层要实现不同系统之间的跨域调取共享;次,指挥控制系统下各子系统之间的数据交互要具有连贯性,因此存储系统在面对来自于不同军种及不同层次的操作需求时需要快速反应,具有高并发性、低业务迟延的特性。
D.车载、机载、舰载等移动信息平台建设,对以存储系统和数据库管理系统为基础的移动信息平台的小型化、低功耗、安全可靠性提出更高的要求。目前我国军事信息化系统中的基础设施主要集中部署于军用数据中心和指挥中心内,但随着我国多兵种联合作战,立体化信息情报体系建设的不断加速,机载、舰载、车载等装配在武器装备上的小型信息化系统的建设需求日益凸显。在实际的战场环境中,需要移动信息平台快速的对目标进行分析、判断、决策,而非全部由军用数据中心来进行事后分析判断,这可以极大的提升武器装备的实时作战能力。而这就需要以存储和数据管理为基础的移动信息平台在计算存储硬件、文件系统、数据库、应用软件等层次深度融合,突破传统边界隔阂,形成一体化移动处理平台,该平台应具备更高的数据接收、存储、处理、分析能力。传统的移动数据平台仅能够实现数据接收功能,且性能仅为MB/s~GB/s;新一代一体化移动数据处理平台具备更高的数据接收、存储、处理、分析能力,提供10GB/s~100GB/s的数据读取能力,超过50万的TPC能力。新一代一体化移动数据处理平台需要针对高速运动、高盐雾、高湿度、高低温度等特殊应用场景定制化研发存储系统的外部壳体和稳定的内部结构,满足恶劣环境、小型化、低功耗等要求。同时,存储系统面临更高的设备盗取和信息安全风险,对存储系统的信息安全要求将更高。
E.国防安全对存储系统提出了更高的自主可控要求。存储系统及数据库管理系统是存储我国国防信息的核心设备,在信息化战争和国际贸易摩擦加剧的背景下,存储系统及数据库管理系统的自主可控变得愈发关键。一方面,由于无论采用什么现代化的武器装备,都要从存储系统中调用数据,存储系统是信息战争中的重点攻击对象,因此必须加强存储系统的代码自主可控水平,避免因使用国外产品或开源产品而导致“留后门”而被攻击的风险。另一方面,在国际贸易摩擦加剧的背景下,我国存储硬件、软件也随时面临被恶意限制的风险,可能导致我国国防信息化系统性能等无法和需求同步升级,导致发展滞后。因此,对于国防领域及存储系统供应商的自主可控能力要求更高。
从当前国防信息化建设趋势来看,现代化的国防体系摆脱了以往量级小、孤岛式、挖掘程度低的数据存储应用模式,各个军种、系统之间逐渐形成有机整体,对底层的数据基础设施提出更高的要求。原有的存储系统、服务器、数据库等设施逐渐无法满足具有大容量传输、高效率分析、即时同步处理等特点的现代化作战的信息需求,需要我国不断投入国防信息化建设,升级现有的信息基础设施。
(2)国防信息化市场规模分析:伴随着我国经济发展水平的不断提高,我国国防投入实现持续上升。2010年我国财政国防支出为5,333.37亿元,预计到2021年国家财政国防支出将达到13,795.44亿元,年复合增长率为9.02%。虽然近年来随着国防支出总体量的增加,支出增速变缓,但我国国防支出占GDP的比重与美国相比,我国国防支出仍处于较低水平,仍具有很大的上升空间。
国防支出包括人员生活费、训练维持费和装备费,其中与国防信息化建设最为密切相关的支出是装备费,从单兵通讯系统,到数据中心、云计算服务器等信息化基础设施,再到综合电子信息系统的搭建,都被涵盖在内。根据《新时代的中国国防》白皮书显示,在2010年至2017年间,我国装备费支出总额及在国防支出中的占比同步增长,其中支出总额从1,773.59亿元增加至4,288.35亿元,年复合增长率达13.44%,高于同期总体国防支出的增速。国防信息化作为我国国防发展的重点领域,装备费的提升将为我国国防信息化建设提供充足的推动力。
虽然我国国防建设在过去已经取得了阶段性进展,但仍存在一定的不足。根据十九大报告中提出的战略目标,在2020年,军队建设要基本实现机械化,信息化建设取得重大进展;在2035年,基本实现国防和军队现代化。而根据2019年发表的《新时代的中国国防》白皮书显示,我国军队机械化建设尚未完成、信息化水平亟待提高,军队现代化水平与国家安全需求相比差距还很大。中国国防科技信息中心编写的《2030年的武器装备》指出,未来的军事武器均会配置信息系统,武器装备将向全面信息化方向发展。为了保障国防建设目标的实现,为国家经济发展、社会建设、主权及领土完整提供强力支撑,在2035年之前,我国国防建设中的机械化、信息化建设强度将进一步提升,与之相关的武器装备制造、国防信息化服务产业将迎来发展机遇。