数据资产管理平台上线通知

浏览次数:1182发布者:wyf

1.数据资产管理平台建设背景

随着学校信息化建设不断推进,各部门业务系统在日常使用已积累了大量的业务数据这些系统长期使用积累下来的数据,通过科学有效的分析,可以帮助学校了解管理与教学过程中存在的问题,为其提供业务优化手段并改良学校管理现状目前校内数据的复杂性和个性化程度非常高,数据层面的管理建设没有一蹴而就的捷径,必须是一个循序渐进、逐步提升的过程。主数据资产管理平台的建设提供以校级主数据为基础,数据质量为核心,可持续发展为目标的校级数据中心解决方案,在提供先进管理工具的同时,帮助学校建立数据生态圈,确保学校数据层面建设健康有序的发展与提升。主数据管理平台涉及的IT技术主题众多,包括“信息标准、数据集成与共享、数据存储、数据质量、数据治理与运营”等。

 

2.数据资产管理平台功能介绍

数据资产管理平台目前建设数据对象778个,涉及数据字段13821个,产生数据总量5460万条,启用数据标准169个;数据质量检测数据对象134个,检测字段1501个;对接组织部门责任单位17个,数据源业务系统163个,开放接口30个,开放数据总量60万条;数据资产管理平台主要包含以下八个功能模块数据资产概况元数据及标准管理信息编码管理集成交换操作集成运维管理主数据管理数据质量管理数据开放管理

 

2-1.数据资产概况

    数据资产概况围绕数据健康度指标呈现,反映数据当前健康度及历史趋势;同时进一步反映业务系统集成情况、代码标准建设情况、数据现状情况、历史数据存储情况等建设成效;也暴露元数据检测、代码标准一致性检测、数据集成运行情况、数据质量检测、数据仓库切片备份情况等存在问题;同时,也采用图形化方式分层反映系统数据的拓扑关系,通过系统之间、表之间、字段之间等三层体现数据的“从哪来、到哪去”。

 

2-2.元数据及标准管理

元数据及标准管理主要包含四个功能:数据源管理、数据对象管理、数据资产建设详情、数据标准版本管理。数据源管理显示所有接入的业务系统数据源列表,可以填写相关数据库连接信息注册新系统,也可对已存在系统选择是否启用和测试连接。数据对象管理展示校级数据资产,包括17个责任部门的主数据表和代码标准,可以新增和删除数据对象,查看对象基本信息、字段属性以及引用关系。数据资产建设详情体现了学校的所有数据对象信息的统计,可以看到不同的数据源中数据对象的个数和有效表、未建表、无数据的数量。数据标准版本管理展示了对象的标准发布和访问的情况以及字段的变化,可以将最新的标准进行发布,并可选择是否作为最新的标准。

 

2-3.信息编码管理

信息编码管理主要包含三个功能:信息编码管理、编码映射管理和编码映射执行检查。信息编码管理可查看代码标准的基本统计信息和查询代码标准表,实现对代码标准的日常管理,当某个标准需要更新时,可通过代码标准管理功能进行及时更新维护。编码映射管理将业务系统代码表和代码标准表进行映射,或业务数据表的某些字段直接与标准代码表字段作映射关系。编码映射执行检查对代码标准的检测结果进行分析,统计出存在代码差异的业务数据源,并用统计图直观展示存在差异的结果,根据代码标准使用范围的情况,形成处理方法。

 

2-4.集成交换操作

集成交换操作包含三个功能:集成交换ETL接口管理、内置ETL调度任务管理和内置ETL集成监控。该模块主要通过ETL接口实现数据集成,通过内置调度任务实现数据源定时同步数据。ETL集成监控可查询一天的ETL接口运行情况,监控消耗资源最大的ETL接口和ETL接口的详细信息。

 

2-5.集成运维管理

集成运维管理主要包含三个功能:集成操作运行概况、数据UC流向和数据库运行监控。集成操作运行概况主要查看ETL接口的运行情况,以及各个业务科室和责任单位的接口运行情况,也可按照权威责任单位和业务系统查看整体接口运行情况。数据UC流向采用图形化方式分层反映系统数据的拓扑关系,查看各个数据源到主数据的流向规划。数据库运行监控主要是监控数据库的连接数占比、表空间的占用情况、SQL语句执行记录和执行情况。

 

2-6.主数据管理

主数据管理主要包含三个功能:主数据管理、主数据生命周期追溯和数据异动监测管理。主数据管理功能分为总体情况统计功能和表的记录详细查看功能,选择整个对象树或分类作为查询条件时,查询总体记录情况;选择表为查询条件时,查询表记录明细情况。主数据生命周期追溯可以统计每个数据对象变化的信息和变更记录,可以根据时间查询到表数据整体的变化情况。数据异动监测管理可以对每个数据对象指定监测字段,定时任务会对监测表的字段进行监测管理,如果字段值发生改变,记录表会展示异动记录。

 

2-7.数据质量管理

数据质量管理主要包含六个功能:数据质量评估、数据合规性检测管理、数据检测报告查询、检测规则及任务管理、数据问题反馈管理和问题数据跟踪管理。数据质量检测工具围绕业务视角,提升用户可看性,直面性能瓶颈,对业务系统集成的主数据进行事后检测暴露数据存在的问题,包括数据集成问题、实施规范问题、源头业务系统本身数据质量问题,所见即所得反映问题所在及动态,以邮件推送直接触达源头业务人员,推动源头部门进行数据质量提升 

 

2-8.数据开放管理

数据开放管理主要包含四个功能:模型与API开放情况、业务模型库管理、开放API管理和API调用日志查询。数据开放管理接口工具采用面向服务体系架构(Service Oriented Architecture,SOA),主数据封装成数据接口开放出去,供第三方开发者调用,第三方开发者可以基于这些接口为校内师生提供丰富多彩的数据应用。采用HTTP协议,数据API共享方式,可以减少对数据库的直接访问,满足实时、按需的共享需求场景。