超融合云存储功能详解

　　1.安防数据混合存储

　　随着前端设备所具备的智能分析能力越来越强,安防业务所需要存储的数据种类越来越多,由早期的纯视频存储形式,已经转变成视频+图片+结构化信息混存的形式。 那么,如何解决在一个存储池中,既有大段的视频,又有小片的图片和结构化数据,同时要保证存储性能不降低,超融合云存储系统采用流量整形的方式,将各类数据先做一次汇聚,然后统一写入底层存储空间。对硬盘来说,每次读写,其实开销最大的就是寻道时间,通过流量整形的方式就可以将多次小段读写整合成一次大段的读写,将多次寻道改为一次寻道,从而节省了数据在写入时产生的寻道时延。

　　比如小哥在搬家时,每件货物都单独搬上车,最后不是被货物累垮,而是被频繁的上下车累倒的。而如果小哥在搬货物前,先做一次打包工作,最终可能只需要花费两趟就可以将所有货物搬上车了。,小哥的打包做法,节省的是上下车的次数,而超融合云存储系统提供的流量整形功能,减少的是磁盘频繁寻道的次数。最终都实现了效率的最大化,满足了多样化安防数据混合存储的要求(如图6所示)。

　　2.数据高速访问

　　存储了大量数据后,如何快速找出需要的数据,又是宇视超融合云存储系统面临的一大考验。 传统的做法是,在一个大的索引系统里,通过查询的方式获取所需的文件所在的路径,然后再去访问相应的数据,费时费力。为什么不能直截了当的访问数据呢?超融合云存储系统考虑了这方面的问题,采用直接寻址技术,结合特有的数据存储格式,在文件名的尾端携带数据存储位置信息,使得客户端在访问数据的时候,可以直接获知数据所在的主机、阵列、硬盘的具体位置,从而快速打开所需的数据。

　　如图7所示,在左边的情况下,如果只是告诉小哥,我们找的是2号货架的2号手套,我们只能一行一行的去寻找货物,效率非常低,如果这个货架是100行100列的大货架,所需时间可想而知。那么,我们在告诉小哥取货的时候,直接告诉他去取2号货架第3排第1个货物就不会存在这个麻烦了,可以很快的找到所需的货物。直接寻址的做法和小哥的做法一样,都是直截了当的找到所需的数据,免去了中间查找的过程,缩短了访问的时延,提高了访问的速度。

　　3.数据智能分析

　　前端设备每天都在产生大量的数据,大部分是未经处理的视频数据,还有部分是相机抓拍的照片等。这些数据中存在着人、车、物等各类信息,等待被人工或者机器提取。 超融合云存储系统,由于带有智能GPU资源池,可以在这竺数据进入存储时就近进行智能分析。

　　例如,针对前端传回的实时人脸图片,进行实时的人脸信息提取、比对,如比对到可疑人员信息,做报警处理。针对前端传回的视频数据,对于视频中的机动车、非机动车、行人等活动目标进行分类检测,同时提取目标小图和场景大图写入存储池中,便于后续快速查询检索,还能提取活动目标的结构化和半结构化特征属性信息并写入存储池中,支持结构化属性信息进行语义化快速检索目标,或通过人体特征进行以图搜人等业务。支持智能播放,将机非人目标结构化分析结果通过OSD形式叠加至实况画面中实时播放。通过视频结构化业务快速分析并提取出视频中机非人目标的特征属性信息,客户能够快速高效的获取案件相关的有用线索,实现人力的释放,促进大安防时代视频数据从“看得清”跨入到“看得懂”的阶段。

　　视频结构化应用中除了结构化检索外,还有半结构化检索,如针对用户提供的目标图片,需要确认其是否在结构化视频中出现,可以进行以图搜图的操作。

　　在搜索界面上导入需要查询的目标图片,选择结构化任务的结果集,检索并返回结果,按照相似度高低排序。支持检索结果查看目标场景大图和播放包含目标的录像.

　　此外,还有个应用是行为分析。行为分析业务功能是对于视频中人员、物品等活动目标进行深度学习分析,按照一定的配置规则检测报警,对一些异常行为或人群现象产生报警图片并保存于存储池中,同时告警记录存在数据表中,便于后续快速查询检索统计。

　　主要应用于监狱、机场、广场等需要做行为预警的场景中,实现管理人员人カ的释放,促进大安防时代行为分析业务的快速实战化落地。

　　4.数据安全保护

　　安防数据中每一段录像、每一张人脸图、每一个车牌号都是隐私信息,一旦泄露出去后果不堪设想,所以超融合云存储系统,在完成高效存储、高效提取数据的同时,还要考虑如何让数据存得更安全,让不法分子无法窃取存储的数据。这个问题需要从数据来源、数据存储和数据使用这三个角度来考虑。超融合云存储系统要完成的就是第二个方面的处理。当数据进来的时候,通过分片的方式将同一份数据分成多片后存到不同的节点,从物理上进行了数据的分割。另外原数据信息也分片存入不同的物理节点,这样即使有用户窃取数据,也是不完整的数据,想拼出完整信息的难度犹如大海捞针。其次,数据在落盘的时候还会经过一次加密,所以在最坏情况下数据如果都被窃取了,也拼出完整的数据了,还需要有秘钥才能将数据解密出来,否则打开的录像文件将是马赛克化的,无法获取到真正有用的信息。通过分片以及加密的方式,超融合云存储系统能够保证存储下来的数据不泄露,为安防业务的安全性提供保障。

　　5.第三方应用服务

　　安防系统中,难免会有一些业务是客户定制化的,或者客户自己的一些业务软件。 这时候通过超融合云存储系统,可以快速分配一定的资源,用于安装这些业务应用,跟整体的安防系统共用一套硬件平台,无需额外再购买或者添加物理服务器。且这些应用所使用的资源在不需要使用的时候,可以随时被回收并分配给安防系统使用,不会浪费资源。

作者：许嗣强

编辑：广汉