天津市公安局云计算服务平台总体架构设计遵循面向业务需求的设计思路,以云计算和大数据技术为关键支撑,以服务实战应用为根本目标,构建统一的IT基础设施资源池,为天津市警务应用系统提供敏捷、可靠、安全、弹性的IT基础设施服务,系统架构具备良好的可扩展性,保证云平台业务动态扩展和新业务快速上线。 天津市公安局云计算服务平台遵循“业务主导、先进实用;统一规划、分步实施;规范管理、保障安全”的建设原则,以可扩展的融合架构、云操作系统、大数据技术、分布式云数据中心架构,构筑云计算服务平台的架构、实现对高智慧、高性能、高可用、弹性、敏捷、安全数据中心的支撑。 天津市云计算服务平台按照基础设施层、数据层、支撑层、应用层进行纵向分层设计,辅以云平台标准规范体系、安全体系、项目管理体系与运维保障体系提供支撑。 应用层 应用层主要为天津市全警提供基于云计算和大数据技术开展建设的各类业务应用和分析应用,针对当前天津市局的业务需求,本次云计算服务平台建设的业务应用包括大数据智慧警务示范应用、专业警种大数据应用以及现有应用上云(如天地E搜系统,天地E档系统,天地E控系统)等。 支撑层 支撑层是整个平台的运行和服务支撑,通过建立统一的数据、应用服务管理机制,提供丰富的数据及应用服务接口,支持跨系统及全平台的数据及应用访问服务,除系统内部的数据应用服务外,其他数据应用服务都通过服务层管理平台进行统一调配。同时提供统一的权限管理、身份认证、安全审计、消息服务、PGIS服务等支撑性应用。 数据层 数据资源是云平台的核心资产,数据层的建设内容包括上云数据的综合治理(包括数据汇集、同步、整合、管理等),以及围绕掌握的数据资源建设云平台大数据资源库,大数据专题库,模型基础库,配置库和数据元库。 基础设施层 基础设施层是云平台的基础设施支撑层,采用成熟的云计算技术和大数据技术,实现计算资源、存储资源、网络资源等的统一配置和管理,为云平台的高效稳定运行提供基础硬件保障,同时提供核心云计算服务和大数据计算服务。 项目管理及标准规范体系 围绕云平台建设,标准体系由总体标准、数据标准、信息服务标准、应用支撑标准、网络基础设施标准、信息安全标准和管理标准等部分组成。 运行维护和安全保障体系 系统运行维护管理主要包括用户管理、日志管理、监控管理、配置管理、运维管理等,通过统一的监控平台对主机系统、网络、应用程序和数据库进行集中管理;安全保障贯穿系统整体结构中的各个层次,包括系统安全、网络安全、数据安全和应用安全等。 1.4 平台技术指标要求 1.4.1 云平台基础设施性能指标需求 分布式文件系统 支持15PB以上的扩展能力,随需扩展,系统不中断 系统性能可以实现线性增长,支持85GB/s系统吞吐 具备单一命名空间和单一存储池 可实现高密度、灵活的数据保护 数据分级存储,具备高性价比 NoSQL数据库 从数据源(如SFTP)导入到HBase,平均每节点的导入速度15 MB/s。 100%随机读:平均每节点读取记录条数30000条(每条记录1KB),响应时间<50ms。 100%随机写:平均每节点写入记录条数35000条(每条记录1KB),响应时间<50ms。 顺序扫描:平均每节点scan记录条数10000条(每条记录1KB),响应时间<50ms。 分布式关系型数据库 支持单表最多1600字段;支持单字段最大长度1GB;支持表最大分区数32k;支持单分区最大容量128TB。 数据导入单节点60MB/s,数据导出单节点200MB/s,集群整体导入/导出性能随节点增加线性增长。 顺序表扫描单节点性能1.2GB/s,扫表性能随节点增加线性增长。 行存压缩比3:1,列存压缩比10:1。 600亿条记录(15TB)精确查询,结果集10万条记录1秒内返回(点查询,索引扫描,随机IO)。 600亿条记录(15TB)使用50个不同条件并发查询,每个查询的结果集1000条记录1秒内返回。 亿级大表与十万级小表关联查询,响应时间<5秒。 分布式全文索引计算 入库:单节点 > 8000条每秒; 数据库资源池 采用64位RISC处理器,同时支持UNIX/Linux操作系统。 可以实时监测内部主要部件的状态,包含CPU、内存、PCI槽、分区等信息,支持SNMP协议。 支持虚拟化功能,且各虚拟主机以共享的方式使用CPU、内存、网卡、光纤卡等资源。 各虚拟主机资源可以动态地调整(增加和减少)。 可以实现分区在不停机的情况下动态从一台物理服务器迁移到另一台物理服务器。 1.4.2 云平台应用系统性能指标需求 大数据同步指标 数据从Oracle同步到Mpp数据库和HBase,抽取效率≥300GB/小时。 大数据资源服务总线运行指标 单总线节点可以满足1000万/日的请求访问; 单节点最大支持1000/s的并发访问; 请求响应时间(服务总线自身计算时间)<=1秒; 正常运行率>99%; 总线节点支持集群部署; 并发性指标 搜索和分析操作,并发数达到1000; 稳定性指标 搜索和分析各30次操作,准确率99.9%; 搜索查询指标 搜索查询并发<1000时,响应时间<2秒;搜索查询并发<2000时,响应时间<3秒; 比对分析指标 1000万条与1000万条数据比对碰撞,响应时间≤1秒; 1亿条与1亿条数据比对碰撞,响应时间≤3秒; 单人关系网络分析(确定关系模型),2层展现,响应时间≤2秒; 两人六度关系挖掘(确定关系模型),最大4层间接关系,响应时间≤3秒; 项目详细设计要求 大数据基础平台技术要求:本项要求投标人提供成熟产品 1、大数据平台集群及管理节点(282节点): 序号 指标项 参数要求 1 开放兼容 厂商大数据平台软件需提供Apache开源社区Hadoop 2.7及以上版本,需提供厂商平台组件版本号,提供证明材料。 (责任编辑:本港台直播) |