XSKY XEDP企业级统一数据平台助力福建省公安厅打造高效智慧警务

　　一.项目背景

　　近年来，全国公安机关大力实施“科技强警”战略，持续开展以“金盾工程”为载体的公安信息化建设，取得了丰硕成果。全国公安机关围绕警综平台、情报平台、地理平台等系统建设应用需要，大力开展社会信息资源和互联网信息资源的汇聚整合工作，公安机关掌握的数据种类不断丰富、结构日益复杂、总量急速增长，数据资源越来越成为事关公安工作核心战斗力的最宝贵资源。目前，各级公安机关业务工作已基本实现信息化，随着社会形势日趋动态化，云计算、大数据、移动互联网应用等新兴技术发展迅速且趋于成熟，信息技术的日新月异，信息化应用的不断深化，原有技术体系在系统整合、资源共享方面的不足日益凸显，实现信息资源的大整合、高共享、深应用迫在眉睫，在全国范围内建立适应新形势、新要求的公安信息资源服务体系，已成为提升公安机关核心战斗力、实现公安信息化可持续发展的关键途径。

　　1.1基础云建设

　　福建省公安厅经过十多年的信息应用建设，目前包括部级部署和省级开发的各类应用系统100多个，包括了执法办案类、情报研判类、社会服务类和内部管理类业务。为积极应对社会动态化、信息化深入发展带来的新挑战，亟需打破地区、警种、部门界限，通过虚拟化、分布式存储等技术将分散的信息化资源汇聚成池，形成统一的小型机、服务器和存储等资源池，为警务工作平台、实战应用平台和民生警务平台等三大平台的提供运行支撑环境，并通过先进的云平台管理软件，统一管理，按需分配，统一建设信息应用系统的运行支撑环境，实现资源利用高度集约化，促进海量公安信息数据共享和深度挖掘。

　　1.2海量小文件存取

　　随着数据的集中和业务的发展，福建省公安厅多年运行积累下来的警务数据及其相关的社会参照数据，如卡口、视频、犯罪人员、社会比对等数据量正在急速增长，尤其非结构化的小文件数量急剧增长，对传统的存储方式形成了新的挑战。为整合全省人像信息，为全省公安提供人像比对服务，解决传统工作方式中依靠人工方式比对识别人脸信息的繁重工作，有效提高打防管控能力，提升福建省公安科技化、信息化应用水平，在海量小文件存取和利用上需要采用新的存储技术。

　　1.3软件定义存储的发展

　　“软件定义存储(SDS，Software Defined Storage)”是当代数据中心技术演进的主要趋势之一。在近10年来各行业开放架构的积累，特别是大型互联网运营商IT基础架构的成功经验基础上，SDS生态系统逐步走向成熟。SDS的核心价值在于，完全基于已有的标准化通用硬件平台开发出与硬件无关的存储软件产品，以非锁定的方式实现数据存放的持久化和长期的有效性。

　　SDS从2012年提出，2015年在中国获得规模发展，到2018年，广义的SDS已经占据中国企业存储近40%的市场份额，知名国际咨询机构IDC预测中国未来五年SDS市场年平均增长率（CAGR）将达到24.9%，在2023年达到近360亿元的市场规模。

　　“开放化”和“水平扩展”是领先的软件定义存储的两大特征。开放化意味着接口标准化、服务原子化、核心代码开源可控。它保证了客户的应用系统能够以最为顺畅的方式对接到基础存储设施，可即时微调解决方案细节，达成高质量的服务，并保证软件的广泛硬件兼容，减少厂商锁定风险。水平扩展则是云计算弹性环境的必然需求。在移动互联网环境下，数据中心应用的负载量是突发的、潮汐式的、难以精确预测的。应用要求存储的容量和性能都必须满足线性扩展，传统的专用存储设施很难满足这种需求。

　　“大数据”也在推动数据中心存储基础架构发生着深刻变革。在传统的数据中心，以OLTP和OLAP为代表的数据库应用占据了昂贵但又低效率的在线存储设施，交易记录、影像数据、分析型数据则消耗了大量中端存储空间，而历史数据和归档数据交给磁带库处理。异构的存储设备难以应对大数据潮流带来的价值排浪，用户很难即时获取多维度的数据用于商业智能决策，并服务海量并发的移动互联网终端。先进的“软件定义存储”的目标是要帮助用户解决这个问题，它能自动进行应用感知并智能分层适配不同的应用负载模式，利用标准化的硬件设施构造存储资源池，虚拟化已有存储设施空间，互联互通，打破数据调度壁垒。

　　二.项目分析

　　福建省公安信息化建设采取省级集中建设应用的方式，近年来随着福建省公安信息化的发展，全省共用信息系统的软硬件全部部署在省厅信息中心进行运行和维护。公安厅信息中心已经成为全省公安信息化的枢纽。目前，中心内运行着支撑全省公安工作正常运行的核心应用系统近160个，部署着大型机、小型机、服务器、存储、网络及安全等各类硬件设备近4000台。全省公安90%以上的公安信息化应用支撑均由省厅信息中心提供，一旦信息中心发生异常，将可能导致全省公安户籍、出入境、交警等公安窗口服务中断，公安执法办案、治安防控等基础工作无法正常开展。

　　当前，随着信息化应用飞速发展，省厅信息中心支撑能力不足问题逐渐显现，设备老旧、故障频发，特别是近期部分核心设备故障频率明显增加，风险隐患激增，亟需升级改造。

　　2.1项目需求

　　福建省公安厅信息中心运行支撑环境升级改造建设，遵循“统一规划、整体设计、急用为先”的原则，根据公安部任务要求、省公安厅信息化支撑存在问题，采取硬件资源更新扩容，按照《公安科技创新“十三五”专项规划》、《公安云计算平台框架指南》的要求，运用云计算相关技术建设公安云计算平台，采用先进的数据中心技术与产品，构建高性能、高弹性、可管理、自动化的数据中心硬件支撑基础环境，为各类公安业务应用系统提供安全、稳定、可靠的运行环境。同时将新增设备和现网可用的计算节点设备纳入云平台和云监控管理平台统一管理，初步形成符合公安部标准的云计算基础平台，实现现状描述中的可用物理服务器和VMware虚拟化节点的统一管理，达到公安部对云计算基础设施资源整合管理的要求，为公安应用业务提供基础支撑。缓解省公安厅信息中心“设备老旧风险高、数据丢失风险高、支撑不足风险高、安全防护风险高”等方面的风险隐患。

　　2.2项目挑战

　　数量众多的各品牌存储设备形成存储孤岛，数据无法自由互通与调用，无法统一进行存储规划，管理运维复杂；

　　存储扩展性受限，扩展弹性不足，无法满足数据的迅速增长需求;

　　数十亿照片，扫描件和人像特征等小文件存取，现有存储遇到性能瓶颈。

　　三.建设方案

　　基于星辰天合（北京）数据科技有限公司（XSKY）的软件定义存储的企业级统一数据平台XEDP，为福建省公安厅的云计算平台提供统一的存储支持，同时存储包括人像比对，治安卡口等海量小文件。

　　XEDP（XSKY Enterprise Data Platform）产品是一个真正的统一存储，实现了同一套存储系统向上层应用提供块、文件和对象三种数据服务，满足业务对结构化、半结构化、非结构化数据的存放需求。同时XEDP提供多种企业级特性，包括快照、精简配置、备份、加密、压缩、QoS等，帮助企业轻松应对业务快速变化时的信息灵活、可靠存取需求。

　　XEDP具有软件定义、去中心化、可水平扩展及统一接口的特点，将其部署在通用x86架构服务器上，将分散的存储介质聚合成统一的存储资源池。为应用提供统一（Librbd/LocalSCSI/iSCSI/FC、S3/NFS、FTP）访问接口，同时提供丰富的企业级高级服务功能，用以保证存储系统的可靠性、扩展性、性能及可维护性，降低总体拥有成本（TCO）。

　　基于XEDP软硬件解耦的统一存储平台，解决了传统存储面临的运维难度大、扩展困难、无法统一存储管理等一系列问题，应对上层数据库、虚拟化等一系列应用搭建，创建了块存储+文件存储+对象存储融合的统一存储平台。真正做到灵活水平扩展、硬件通用化，不受限于硬件的生命周期迭代，可应对复杂的工作负载模式和将来可能产生的价值排浪，并且可以和应用层做到感知，创建一个灵活、流动、安全、可靠的数据平台，以实现软件定义数据中心最核心部分建设需求。

　　针对海量非结构化小文件的存储需求，通过使用XEDP S3接口，采取对象的方式进行保存和读取，在系统底层实现了小文件合并处理与压缩的功能，极大减少了巨量文件元数据对文件系统索引体系带来的压力。支持单存储池超过1000亿的文件对象数量。同时支持存储桶数据生命周期管理功能，可以对存储桶内的数据通过数据前缀或整桶进行归档和删除，目前支持实时归档及延时归档，同时支持延时删除功能。对存储桶中的对象数据设置不同的生命周期，使对象数据分层管理，部分数据可以定时归档到冷数据池，部分垃圾数据可以定时进行清理删除操作，以确保不会存储太多无效的垃圾数据，提供更多有效的存储空间，节省数据存储成本。

　　四.项目收益

　　通过软件定义的XEDP统一数据平台方案，成功地对福建省公安厅一部分数据进行了初步整合，并解决了海量小文件存取的挑战。

　　将海量小文件存储迁移到XSKY存储平台后，大大缩短了访问延迟，并实现了按需扩容，横向扩容的弹性存储，持续降低TCO；

　　多副本技术保证了数据的安全性，同时利用在线修改副本数技术解决了预算周期和数据容量迅速增长的矛盾；

　　支持EB级别数据存储，为数据的快速增长搭好架构基础；

　　整合存储资源，逐步消除存储孤岛，提高运营效率。

　　编辑：广汉