产品技术
安防行业存储技术现状分析
安防相对其他行业的存储面临着更大的挑战,因为安防行业处理更多的是视频、图片、语音等数据,这些非结构化的数据具有更占空间、更难检索、更高安全要求的特点。现阶段我们已经突破了基础技术的瓶颈,而且在软硬件方面都逐步实现了国产自主化,一批优秀的技术型企业稳健发展,不断为安防行业存储技术贡献新鲜血液。
1、存储空间
提升存储空间的主要途径基本只有两种:一是增加设备进行扩容;二是从数据源本身出发,压缩数据源,降低数据的空间占用率。
基于扩容的方式是简单直接的,但也是最耗费资源的。安防行业的存储主要分为NVR、集中存储和云存储三种类型。
基于NVR的扩容主要是通过增加设备,配置集群的方式来进行。由于NVR本身只适用于小型监控场景,自身一般只配备1至24块硬盘,所以这种方式所能扩充的容量也非常有限,主要适用于超市、小区等场景。
集中存储相对NVR而言涉及到的扩容技术就更为复杂。集中存储技术经历了从IPSAN到流直存的过程。相对NVR而言,IPSAN更重视数据的集中存储和统一管理,并具有非常出色的容量扩展能力,因此IPSAN更适用于大规模部署。IPSAN主要通过连接扩展柜的方式进行扩容,这种方法简单直接,但劣势也很明显。那就是随着扩展的增加,主机的负担会逐渐加重,到最后会出现单点故障、扩展柜的读写速度与主柜脱节等问题。为了解决这一问题,安防厂商开发出了安防特有的视频存储技术,其对应的设备被称之为网络存储服务器。网络存储服务器的扩容只需将新的设备接入局域网络,通过IP地址等网络协议即可进行连接。在2PB级别以的下中小型项目中,这种方式可解决用户的绝大多数需求。
云存储是一种新型的存储技术,在单纯的存储的基础上还加入了云计算功能。其扩容与集中存储类似,除了通过基本的网络协议连接之外,云存储还需要进行集群配置才能让新加入的节点接入到虚拟集群中。
从数据源本身出发,更多涉及到的是图像处理技术。视频压缩编码技术经历了由早期的H.264到H.265,到目前个别安防厂商自主开发的智能编码技术,如天地伟业的S+265技术。传统蓝光1080P视频的码流大小是8Mb,H.264编码可以实现将1080P分辨率的视频流压缩至4Mb码流。H.265是ITU-T VCEG继H.264之后所制定的新视频编码标准,可将1080P分辨率的视频压缩到2Mb码流,存储空间节省了一倍,智能编码技术可以再压缩一倍。关键是在视频文件大小逐渐被降低的情况下,人眼观看的视频质量还能保持不变。
当前的安防市场正值H.264到H.265的切换时代,市场数据显示,H.264产品无论是前端相机还是后端存储设备,所占的市场份额都在逐渐被H.265设备所取代。可见视频压缩技术的更新是未来存储市场发展的趋势。在此趋势下,安防行业内的几家领军者纷纷推出了更优于H.265的压缩技术,例如天地伟业推出的S+265技术已经可以实现将1080P视频流压缩到1Mb大小码流,存储空间相比于H.265又降低了一倍。
那么如此高效的压缩编码技术是如何实现的呢?据相关人士透露,绝大多数视频监控的场景其实可以分为背景和运动的人和物两部分。背景通常是固定不变的,这部分可以分配低码率进行传输,而对于运动的人和物则可以分配高码率,最后通过合成就可以实现1Mb码率的效果。
2、检索应用
前文有所提及,视频图片等数据是非结构化的,也就是说它们不像文字那样可以快速地通过关键字和词进行检索。存储在媒介中的视图数据就像是一块块砖头,没有专门的解析极致,我们在查找信息的时候就不能很快地知道视频文件中发生的事情,这就是视频AI分析和智能存储、检索的价值。
随着AI技术的发展,我们可以在视图数据的采集过程中就让机器对数据进行一次分析,并将分析完的结果随着视频一起存储下来,比如视频监控中出现了一个人,那么这个人的人脸信息、衣着信息、是否背包、发型、是否戴眼镜等信息都通过文本标签逐一记录,这样在检索时就可以通过这些关键字进行快速定位。这里所提到的就包括人脸抓拍、人脸识别、结构化以及大数据分析等技术在存储中的融合应用。
实现更加智能的存储和检索需要强大的底层支撑。目前业内的AI数据内容主要有人脸数据和结构化数据两种,包含机动车、非机动车和行人。数据类型包含了图片、抓拍记录、报警记录以及图片属性信息等一系列非结构化数据。这类数据的特点是比较碎片化,与视频流数据类型不同,视频流可以保证持续不断地写入,而且文件打包大小比较均匀,但碎片化的文件由于其大小和数量都是未知,零散地写入对CPU和硬盘资源的消耗都是很大的。对CPU来说,需要同时处理很多线程。对于硬盘来说,磁头需要不断地换道、寻址,大大减少了硬盘的寿命。对于这种比较特别的数据类型,传统的流媒体服务无法进行处理。目前主流安防厂商都为此专门开发了用于拉取此类数据流的软件,安装在通用的存储硬件中可实现存储功能,比如一些中小型项目,目前绝大多数场景中使用单台存储就可以满足。
3、数据安全
在容量和性能初步满足了用户的需求之后,安全问题成为最终的考虑因素。如此庞大的数据量如何保证设备长时间运行数据不丢失?服务器也好,硬盘也好使用寿命大多在5至10年之间,设备损坏可以更换,但如何实现将损坏存储介质之中的数据成功恢复?传统存储都是通过磁盘之间做raid组来实现容错。Raid是将多块物理磁盘虚拟成一块逻辑磁盘的一种技术,监控领域应用比较多的是raid5模式,可以实现1块raid组中一块硬盘发生损坏,坏盘中的数据能自动恢复到raid组中,初步具备了容错性。但raid方式只是将容错的基本单位停留在了硬盘上,如果服务器节点出现故障,仍然会造成单点数据丢失。面对这种安全性需求,云存储应运而生。
云存储是在云计算概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术,是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的系统。从物理上看,云存储是一台台独立的服务器,但在使用时,用户只会看到一个虚拟的存储池,统一对外提供存储服务。安防厂商一般都会选择帮用户在本地构建自己的数据中心,也称之为私有云。提高安全性势必要增加冗余度,而如何利用最小的冗余度提供最大的安全性则是安防厂商在技术方面一直努力的方向。
云存储相对于集中存储而言主要有两大优势:一是现了负载均衡。云存储对外提供统一的数据接口实现存储功能,至于数据存进来之后如何找到合适的位置落盘则是由云存储内部的集群软件统一调配的。这种调配机制可以保证集群中每一台设备上存储的数据量比较平均,读写速度也比较均衡,防止局部读写压力过大,最大限度地利用了集群的性能优势。二是云存储具有超强的容灾性。云存储的容灾性主要体现在其内部所搭建的纠删和副本池。通过N+M这种N台存储节点加M台纠删节点的配置方式可以实现集群中M台节点发生损坏,数据不丢失,录像业务不中断。
作者:冯浩 天地伟业技术有限公司