珠海千亿国际首页信息科技股份有限公司欢迎您!
服务热线: 86-756-8683904
首页 - 产品与解决方案 - 信息安全
凌盾云大数据平台
发布时间:2020-04-24 09:58:00 | 浏览次数:


大数据综合平台



      凌盾云大数据综合平台基于Hadoop生态体系,整合先进云计算技术,通过集成/优化/封装,支持对海量结构化、半结构化和非结构化数据的存储与高速处理,并且支持对数据的高并发快速查询,我们对交付版本在服务期内全面负责。凌盾云大数据综合平台在集成开源发布版本的同时,还从社区中挑选部分Patch集成到凌盾云大数据综合平台中,以便在项目中更好的利用hadoop处理海量数据。通过对开源组件的不断研究结合项目实施过程中出现的问题,在开源组件原有基础上进行了大量重构与优化,使我们的产品具有更强的数据处理、更快的处理速度以及更加便捷的实施优势。
      计算组件:平台实现功能组件的松耦合,凌盾云大数据平台提供标准的ETL类组件,使用者可以在此基础上灵活扩充自己的组件类型。如上网行为分析组件、其它自定义组件等。
      平台接口:凌盾云大数据平台提供基于M/R的标准编程接口,以及对象管理、用户管理、权限管理、配额管理等组件接口。
      平台能力: 凌盾云大数据平台提供便捷的流程编排、统一任务调度、自动化的系统运维、全面的集群监控,让使用者以更小的成本实施分布式计算应用。
      产品集成:凌盾云大数据平台平台具备良好的兼容性,支持Apache Hadoop、Cloudera、HortonWorks等开源和商用的多类Hadoop发行版本。
      自动化安装部署:大数据综合平台实现了大数据平台软件一键式自动安装部署,管理员能够通过凌盾云Manager配置参数根据部署集群硬件环境自动优化,最大化利用集群资源。
      系统资源监控:大数据综合平台提供了自底层硬件到上层处理流程的全面监控体系,帮助运维人员快速定位问题解决问题,使系统持续健康稳定的运行。通过运维监控系统,管理员可以监控集群整体及各主机的运行情况,包括CPU、内存、硬盘、网卡等各项硬件指标。
      跨平台统一调度:大数据综合平台支持对传统关系数据库、MPP数据库、hadoop库等多类数据平台进行数据采集和加载操作。管理员在凌盾云大数据综合平台上可以通过JDBC、Webservice、Shell、API等多种方式实现了跨数据平台的作业调度,统一管理数据采集、转换、加载的完整流程
      开放的平台服务:凌盾云大数据综合平台通过一系列接口开放大数据平台的存储资源和计算资源,方便和各类系统进行融合。外部系统/用户需要通过凌盾云大数据综合平台在平台上注册获取接口访问许可。而大数据综合平台记录接口调用过程详细信息,保障平台及数据的安全
      应用及作业负载监控管理:实现集群相关软件统一启动/停止,无需登录相关主机;直观显示当天任务执行成功、失败、超时、等待、运行等信息 提供手工挂起、删除、恢复流程等操作。
      应用优化工具:系统提供SQL转换工具,将原系统SQL语句快速转换为大数据平台的类SQL语句。同时也提供应用自动调优工具,以应对大数据环境下处理复杂逻辑出现的数据倾斜问题。


1.1实时事件处理
      通过结合Spark、Flink、Esper等开源技术框架,结合内存处理技术、流数据结合CEP复杂事件处理技术,满足海量,多类型批量结合实时计算能力;采用“流处理+内存数据库”技术,实现基于模型的流数据秒级监控和预警,满足高实时高可靠数据处理,采用千亿级数据秒级查询相应能力,支持海量数据的快速检索和定位,日处理数据百亿条,存储容量支持达到PB级别。


1.2高并发海量数据查询
      凌盾云大数据综合平台产品通过HBase底层的优化封装提升了以下能力:
      支持二级索引、多维索引、全文索引
      支持高并发、低延时的二级索引,保证数据一致性
      可在HBase和Hive查询时使用二级索引
      支持高维时空数据的索引
      集成lucene支持全文索引 
      支持高效的HBase块编码方式,减少数据冗余
      HBase集群灾备,提供工具进行数据的迁移和恢复
      支持Graph 图引擎,帮助客户构造上亿用户的复杂关系图表


1.3安全性
      凌盾云大数据综合平台通过完备的安全机制以及灵活的权限设置,可以实现开放环境下平台主机之间以及用户访问的严格控制,保障平台安全可靠,避免安全问题。


1.4数据透明访问
      通过标准的SQL无障碍地获取不同类型、不同位置的数据库的服务,解决数据异构环境下,结构化与非结构化数据并行存储,传统关系型数据库与NoSQL数据库之间的数据透明访问问题,提高了用户SQL开发工程师的开发效率;对下层通过接口封装、SQL语法解析、SQL执行等过程,将物理上分散在不同数据库的数据,进行逻辑上统一,起到统一访问的作用。

数据资产管理平台
      数据资产管理平台包含数据标准管理、元数据管理、数据质量管理、数据资产视图、数据安全管理等功能模块。借鉴资产管理的方法理论来管理数据,将数据作为一种特殊的资产,对进入平台的数据进行标准化的规范约束,并以元数据作为驱动,连接数据的标准管理、数据质量管理、数据数据安全管理的各个阶段,形成统一、完善的数据治理体系,以解决实际业务问题为导向,增强数据资产管理平台对业务发展的支撑能力。以元数据为驱动,统一大数据综合平台完整的数据治理体系。从组织架构、系统功能等方面增强数据宏观管控,并实现精细化管理。
系统特色
      数据治理组织架构管理
      定义数据治理所需人员组织上的岗位和职责,从管理角度支撑数据治理工作的落地和执行。
      数据标准管理
      建立统一大数据综合平台数据标准体系,并制定数据标准运维管控制度和流程。
      元数据管理
      降低元数据使用难度、提升用户体验,使大数据综合平台各类用户均能参与到元数据运营维护当中。
      数据质量管理
      为内、外部用户提供平台化的数据质量监控;通过扩充和优化公共规则库、保证数据的完整性、一致性、准确性、及时性、合法性,提升用户使用感知;并提供数据质量应用满足个性化需求。
      数据资产视图
      重点建设从规划、注册、运维到注销的全流程管理体系,使数据资产管理系统化、可视化。
      数据安全管理
      建立体系化的数据安全管控策略,通过用户安全管理、数据安全管理实现全方位数据安全管控机制,通过技术手段与管理措施相结合的方式落实数据安全,做到事前可管、事中可控、事后可查。

智能分析平台

      智能分析平台上承载多个数据综合分析业务,这些分析业务对通信网数据等进行数据挖掘、关联分析,以发现价值数据。这些综合分析业务会用到很多共同的数据挖掘、机器学习基础算法,例如分类、聚类、线性回归等,为了避免重复的部署数据挖掘和机器学习算法包,就需要在智能分析平台上提供一套基础的算法包,提供给多个分析业务系统共用;另外某些复杂的数据分析业务会需要多个算法进行组合分析,以完成对于价值数据的提取,这就需要系统支持对于多算子分析任务的调度和执行管理;另外在系统上会有多个分析任务同时并行执行,这就需要分析任务的统一管理和调度执行机制。因此这就迫切需要一个专门的子系统来实现上述功能。
      系统就是基于上述需求设计实现的,该子系统主要用于支撑多个数据综合分析业务的执行。具体功能包括如下几个方面:1)提供了机器学习、数值分析、数值统计等多种基本的数据分析算子;2)算子管理功能,提供了分析算子的提交、查看、修改、删除和执行等算子管理功能,并支持用户按照规范开发新算子,并支持将新算子提交到算子包;3)分析任务调度,支持对综合分析业务产生的多个分析任务进行统一调度管理,提供了灵活多样的调度策略,包括时间调度、手工调度等;4)复杂分析工作流的编排和管理,支持基于多个算子编排复杂的分析任务,实现对于负责分析业务的支撑;5)标准化操作接口,对外提供统一标准的访问接口,包括数据访问接口和算子访问接口,接口形式为JDBC、ODBC以及HTTP等,算子访问接口提供了算子提交、查看、修改、删除和执行等功能。
      业务分析支撑子系统统主要包括数据源访问模块、算子集模块、算子管理模块、任务管理/调度模块、分析工作流管理模块、操作接口模块和WEB管理模块等七个模块构成。
      数据源访问模块:该模块提供了多种数据源的访问方式,包括智能分析平台内部的各种数据源以及外部的数据源;
      算子集模块:该模块提供了多种基础的数据分析算子,包括数据挖掘、机器学习、数值计算、关系分析等等,并且分析算子可以动态增加;
      算子管理模块:该模块主要提供了分析算子的基础管理功能,包括算子浏览、添加、删除等;
      任务管理/调度模块:该模块提供了对于多个分析任务的调度和查看管理,支持手动和自动等多种调度机制;
      分析工作流管理模块:该模块实现了分析算子编排组成分析工作流的功能,支持复杂的数据分析任务;
      操作接口模块:该模块对外提供了各种操作接口,包括算子操作接口、任务操作接口等,接口形式包括API和HTTP等形式;
       WEB管理模块:该模块为用户提供了一个可视化操作界面,通过该界面可以实现对系统的操作管理,包括算子管理、任务管理、工作流编排等。