一种基于众包的视频结构化性能自动评测方法

　　近年来, 随着云计算、 物联网、 大数据技术的快速发展, 视频监控系统的建设从模拟化、 数字化、 网络化进入了智能化分析的时代。 监控视频数据因其 “4V” (Volume、Variety,Velocity,Value, 即海量 多样、高速、 价值) 特性,成为大数据研究的核心内容之一。

       通过视频监控系统获取的视频或图片信息, 寻找嫌疑目标(案件线索)已经成为公安侦破案件的一种主要手段,有专家统计, 我国99%的大案要案侦破需要视频监控信息。 视频侦查技术已经成为继刑事技术、 行动技术、 网侦技术之后的第四大侦查技术。以视频内容结构化描述为基础的视频检索、 视频摘要等多种搜索应用和展现方式在公安实战中得以快速推广。用智能分析技术代替传统的人海战术,可以极大减轻民警审看存储视频内容的工作压力, 加快案件侦破速度, 是视频分析公安实战应用的必然发展方向。

　　然而, 目前国内的警用视频分析产品及市场还处于起步阶段,各种警用视频分析产品的性能参差不齐,缺乏统一的测试标准和权威机构的认证评测体系,这给视频智能分析技术的应用推广带来很大困扰。 实际使用单位在采购前一般只能自行组织对比评测,但是由于时间和经验的限制,评测结果往往不够全面和客观。 为促进视频智能分析在公安实战中的应用,本文提出了一种基于众包的视频结构化分析性能指标自动评测方法,并介绍了自动评测系统的构建。

　　一、视频结构化介绍

　　以智能分析技术为核心的各类视频结构化分析产品,从原始视频文件中自动检测场景中人员、车辆等目标信息,判断是否发生关注类型的事件,并分析提取目标的属性信息。 视频结构化分析产品的性能指标包括分析的识别目标种类、产品并发分析目标能力、分析与生成结果的速度、生成结果的准确率等。 其中的生成结果又叫做视频结构化描述。视频结构化描述(Video Structurized Description,简称VSD)是一种视频内容信息描述的技术,它对视频内容按照语义关系,采用时空分割、特征提取、对象识别等处理手段,组织成可供计算机和人理解的文本信息。

　　视频结构化描述信息包括目标定位信息、目标轨迹信息、目标颜色信息等目标通用属性信息以及目标类型、目标特征等目标专有信息。 视频图像内容分析描述分为特征属性描述和XML Schema描述(视频结构化描述的详细内容可参考GBT 30147-2013《安防监控视频实时智能分析设备技术要求>、GAT 1400.3-2017《公安视频图像信息应用系统第3部分:数据库技术要求》等标准的相关要求)。

　　本文着重从VSD角度提出对视频结构化性能指标的评测。这也是视频结构化分析产品的核心性能指标。

　　二、自动评测系统组成

　　基于视频结构描述的视频图像分析产品自动评测系统包括两个组成部分:评测视频源库和自动化工具软件。

　　(一)评测视频库

　　为了使评测结果客观真实有效,必须使评测视频源数据库中的视频片段尽可能涵盖实际使用中的真实场景。

　　对评测视频片段中的内容进行视频结构化描述分析,将视频中待分析目标的有关信息提取出来,形成视频结构化描述数据。 这些数据信息大致分成下面三类:

　　(1)视频通用运动目标结构化信息:检测监控视频中的运动目标,结构化信息包括目标运动轨迹、目标类型(行人、非机动车、机动车等)、目标外观(颜色、佩戴物、装饰物、携带物等)、目标特征描述(用于以图搜图)等。(2)视频人脸结构化信息:检测监控视频中的人脸,结构化信息包括人脸关键点定位、时间信息、每一帧人脸的比对结果等。

　　(3)视频车辆结构化信息:提取监控视频中的行驶车辆目标的正向或背向信息,结构化信息包括车辆运动轨迹、车辆颜色、车牌信息(车牌颜色、车牌号码)、车型信息(车辆品牌、子品牌、年款)、车辆属性特征(遮阳板是否放下、年检标个数、驾驶员定位、是否系安全带、是否有副驾驶、是否存在挂件、纸巾盒、摆放物等)。

　　(二)视频图像分析产品自动化评测工具软件

　　自动化评测工具软件的功能是对收集到的来自视频结构化分析产品提供的视频图像结构化描述进行再处理和标准化,进而实现对视频结构化分析产品的自动化评测。

　　自动化评测工具软件的主要模块包括视频信息库管理模块、视频播放器模块、目标轨迹匹配模块、结构化描述信息生成模块、人工校对修正模块、自动评测模块。 主要模块之间的关系见图1。其中目标轨迹匹配模块是结构化描述信息生成模块和自动评测模块的基础,播放器用于人工校对修正,所有的评测视频和结构化描述信息由视频图像结构化信息库管理。视频图像结构化信息库包含了对视频源的结构化标注的信息等。

　　图1自动评测软件模块架构图

　　三、关键技术

　　自动评测方法有两个关键技术:自动评测算法和众包方式的视频图像结构化描述信息处理。

　　(一)自动评测算法

　　自动评测的核心问题是让待评测产品的结构化分析结果和评测标注数据库中的视频结构化描述结果具有可比性,具体来说就是找到同一视频源中的同一目标在这两个被测系统的给出结果里面对应的描述。 目标最具有代表性和判别力的特征是目标的时空轨迹(目标在视频中每一帧出现的位置),运动轨迹完全重合的两个结果判定为结果同一,通过匹配两组结果中目标的运动轨迹即可确定目标的对应关系,并可进一步对目标的其他属性进行评测。

　　目标运动轨迹匹配算法如下:

　　首先,定义同一目标的两个识别结果的轨迹匹配度公式如下:

　　M.,F

　　Em.m..

　　L max(i./)n1

　　其中,m,和m,分别为识别结果轨迹i和轨迹;在第n帧的矩形框,N为视频的总帧数,Lwx)为轨迹i在视频中出现的最大总帧数,/为两个矩形框的匹配函数,其数值定义为两个矩形框交的面积除以并的面积(Intersection-over-Union,loU),8为示性函数,定义如下:

　　x>threshold

　　5(x)10

　　其他

　　其中,threshold为矩形框的匹配阈值。

　　之后,设置轨迹匹配度的阈值,如果两个轨迹的匹配度超过阈值则判定两个轨迹能够匹配,否则判定为无法匹配。实际系统使用的阈值为0.8.

　　因为评测内容都是结构化的,所以一旦确定了分析结果和标注结果中目标的对应关系, 后续的工作就是统计计数和属性比对。

　　(二)众包方式的视频结构化描述信息处理

　　为了快速得到准确的视频结构化描述信息,自动评测系统采用了众包的思路,即使用多个视频结构化分析产品分析同一段视频,然后对多个分析结果进行融合整理及补充,得到统一的视频分析描述结果。这一过程也称作视频目标信息标注。

　　采用众包方法的合理性基于这样的假设: 不同视频结构化分析产品对相同目标的描述在大部分情况下是一致的。因为分析的结果在大部分情况下是正确的,而正确答案只有一个。 利用这样的一致性可以快速获得准确性很高的初步的标注结果,在此基础上仅需人工审核即可得到最终的结果.另外一种常见的视频目标标注方法是先使用一个结构化分析产品产生一个基础的结果,然后在此基础上人工标注。对比此方法,采用众包的优势有两点:(1)众包的方法可以利用不同产品特性的多样性,大部分人工操作仅仅是选择分析结果,而不需要逐帧重新标注;(2)通过比对多组结果,可以凸显一致部分和不一致部分,一致部分的标注可以快速浏览,人工可以把注意力更多集中在不ー致的可能出错的部分,从而减轻了人工标注审核的工作量。

　　采用众包方式建立视频标注数据库时,应注意采用多种视频结构化分析系统,强调分析算法应具有更好的多样性,以避免出现同一类分析识别方法带来的识别结果的偏颇性(可能犯同样的错误,如误识和漏识),从而提高视频结构化识别结果的有效性和准确性。在实际操作中,可以挑选一些视频作为预选测试集,只有在预选测试集上分析准确率和召回率都达到一定标准的产品才能够参与众包,避免低质量的分析结果引入不必要的干扰。

　　四、自动评测结果分析

　　目前评测视频源库包含视频总量500段,每段时长5~20分钟, 视频片段涵盖实际使用中的真实场景。 每一段视频片段都有对应自身的XML结构化描述文件。

　　实际标注一段典型的中等疏密度的10分钟视频, 如果完全依靠人工逐帧标注轨迹和各种属性需要约120分钟;如果只使用一个产品的结构化分析结果, 然后在这个结果的基础上进行人工标注需要约30分钟; 如果采用众包的方法生成标注需要约15分钟,其中结构化分析产品分析视频10分钟, 人工审核修正5分钟。

　　对一段时长20分钟的中等疏密度视频片段进行评测,如果仅测试目标类型(如人、车、人骑车)一项,采用人工方法需要约60分钟,使用自动测试仅需10分钟。

　　五、结语

　　本文介绍了一种基于众包的视频结构化产品性能指标自动评测方法。通过使用众包的方法使得快速构建大规模评测视频信息库成为可能,而基于轨迹自动匹配算法可以实现评测过程的自动化, 提高了视频结构化产品性能指标评测工作的效率。

作者：刘军、卢玉华、欧阳毅、沈宇辰

编辑：广翰楼