數據治理方案

Data governance

  • 數據管理4大難點
  • 數據中臺
  • 數據治理工程化服務
  • 方案優勢
  • 交付成果

數據管理4大“難”點

數據管理4大“難”點


◆?數據中心黑盒運行,難以管理

———————————————

黑盒運行,狀態不清,出故障難以排查

技術要求高,操作復雜

接口又多又亂,不知道哪些有用,數據不能復用

標準缺乏全局統一,只能點對點交換

部門要數據,溝通周期長,安全難以保障


◆ 數據維度缺內容少,難堪大任

———————————————

只有主數據,結果數據,缺乏過程數據

只有線上數據,缺線下數據

只有結構化數據,忽視了非結構化數據的價值

只考慮數據交換,數據價值未充分利用

師生重復填表、反復填表


◆?數據資源散落各處,難以收集

———————————————

業務系統歸各部門管理,數據難以獲得

大量線下數據無法流動共享:電子表格、紙質文檔

多個系統,多份數據,數據來源缺乏權威

需要數據時還要看廠商臉色、交接口費


◆?數據質量缺乏保障,難以采信

———————————————

數據缺失、錯誤、不完整

難以支撐領導層需要的可信決策

難以支持數據統計、數據填報等需求

難以支持復雜的跨部門業務協作

難以為部門提升管理水平提供參考


????????隨著高校信息化的不斷發展,高校數據呈現更多元化的狀態,傳統的業務系統建設模式已不足以滿足高校當下對于數據深層次挖掘利用需求,同時在大數據的背景下,數據的隱私和安全也是需要核心保障的。而對 于以上兩點的需求,傳統的主數據平臺(數據中心)建設模式無論是從能夠容納的數據體量以及數據供給的模式均無法滿足需求。

????????有鑒于此,希嘉結合互聯網一線公司的經驗,同時針對高校信息化的特點,有針對性的提出了高校數據中臺的建設模式,解決數據的“管”、“通”、“用”三類核心問題。具體而說,數據中臺并不是一個跨時代的全新理念,其建設的基礎還是數據倉庫和數據中心,在數倉模型的設計上也是一脈傳承,但在傳統的建設模式上升級了底層架構,并通過配套的工具進行組合,形成數據從采集、存儲、計算、使用、管理等環節的閉環,進一步降低數據的使用門檻。


數據中臺

數據中臺


1.數據中臺是一個體系/方案

2.數據中臺包含標準化的產品+人工服務

3.數據中臺的核心是為應用場景服務

4.數據中臺實現原始數據與應用場景的解耦



數據中臺



1對1付費直播開發


數據中臺體系

數據中臺


數據源層

涵蓋高校常見的各類數據源,包括關系型DB、文本文件、syslog日志、二進制日志等數據類型的采集和存儲,在物理層面形成一個大的數據集;


數據采集處理層

以需求為驅動,以數據多樣性的全域思想為指導,采集與治理全業務、多終端、多形態的數據,同時構建滿足行業要求的統一數據標準,解決各類數據在邏輯層面的統一;


數據倉庫平臺層

向下承接數據治理的成果,向上提供數據統一的通道,中間通過數據的集成、計算和管控提供數據流水線的管理方式,幫助高校用戶簡化數據的管理和使用,提高數據使用的效率和安全性,盤活數據資產;


數據治理輸出成果

結合行業的特性,提供完整的數據治理解決方案,涵蓋數據標準的構建、不同類別數據的集成、數據質量檢核規則和數據質量評分體系,以及配套的數據管理規范制度等內容,使得數據治理真正成為一個不斷循環和迭代的過程,幫助客戶形成自己的數據資產;


數據應用層

通過統一底層的數據標準和計算組件,形成滿足業務場景需求的數據模型,深度萃取數據的價值;具有數據應用共享化、數據訪問移動化、運行監控自動化等特點;



結合高?,F有業務場景建設數據中臺

數據中臺

教學科研管理服務
無感知簽到教師發表論文分析校園公共安全一表通自助填報

授課結果跟蹤

院系排名分析

智慧網絡運維

空閑教室查詢

上課過程分析電子資源使用分析學生消費分析圖書智能推薦
智能教學評判經費使用及產出分析上網流量分析師生個人數據查詢


統一數據釆集統一數據存儲統一數據治理統一數據門戶

關系型數據庫

數據架構設計

數據模型制定

多維度的數據檢索

非關系型數據庫

集中式存儲

數據格式統一

標簽化體系定位

線下文本文件分布式存儲數據質量關系語義關聯檢索
各類數據接口可在線靈活擴展數據血綠關系完整的數據通路


????????針對教育行業遍存在的“數據問題”,希嘉提供了基于數據中臺建設的完整的數據治理解決方案(以下簡稱方案)。方案對高校內外的全量數據進行盤點、梳理、采集、整合、清洗和標準化,建立一個標準統一規范、來源權威穩定、數據高度融合、數據質量可靠的全量數據平臺,實現對數據的全面采集、規范建模、質量提升、安全存儲、可控共享和充分應用。


?

數據治理工程化服務流程

數據治理工程化服務


整個數據治理工作分為3個域,分別是:管理域、數據域和知識域。

●??管理域:進行數據架構的頂層設計、數據管理的規范和制度設計,主要是進行設計和咨詢工作;

●??數據域:數據治理的核心內容,包含3個主要的工作流。

1、數據工作流:主要包含數據的識別、采集、集中、質量檢查,成果數據生成入庫,數據共享發布,直至被業務系統使用,生成新的數據,再次被采集,形成閉環。

2、標準工作流:從標準制定、分類建模并形成成果數據的元數據模型。

3、質量工作流:質量流是數據治理中工作量最大的部分,也是數據質量得到本質提升的過程。工作內容是對檢查出來的質量問題進行修正、轉換、糾錯等操作。

●? 知識域:治理過程中梳理出來的結構性、知識性信息。



數據治理工程化服務



希嘉數據治理主要活動

數據治理工程化服務


????????主要包含3個階段,即采集識別、清洗治理、成果生成和發布。具體包括設計校級數據標準,全量采集各種管理業務數據、電子表格數據、日志數據等,并對數據質量進行檢核,針對質量問題進行清洗、轉換、去重、補漏、糾錯等操作,再按照標準模型和標準代碼進行統一建模存儲,形成戰略級數據資產,并由大數據平臺進行承載和運營發布。

????????所有數據處理流程的各個環節都有標準化輸出的要求,并在實施過程中有公司不同的部門崗位進行監控,確保能保質保量地按時完成。


數據治理工程化服務


數據治理概要步驟

數據治理工程化服務

數據治理工程化服務

摸清家底

通過部門業務和數據調研,進一步摸清家底,了解現狀。

數據治理工程化服務

全量采集

更加廣泛的收集數據,實現全量、全維度、全生命周期

數據治理工程化服務

標準制定

建設校級數據標準,使之符合學校的實際現狀。

數據治理工程化服務

標準落地

將標準應用到數據上,應用到對業務系統的數據交換過程中。統一代碼、統一字段名、明確權威來源。

數據治理工程化服務

積累、量化成果

通過數據治理工具,積累成果,保證延續性,步步為營,層層推進。

數據治理工程化服務

知識庫建設

通過治理過程,形成數據資產目錄、元數據庫、數倉體系、數據質量規則庫、數據質量報告、數據血緣關系、UC矩陣等。

數據治理工程化服務

制度形成與保障

通過規范和制度建設,理流程,規范行為,嚴格執行,確保治理成果能夠不斷更新迭代。


? ? ? ??希嘉利用完善的統一數倉管理系統、數據填報工具、日志處理工具、和統一數據開放平臺,使整個治理過程可管、可控、可視化,降低了數據治理的技術難度,顯著提升了工作效率。同時,通過提供管理咨詢服務和頂層架構設計,形成數據標準體系、數據工具體系、數據管理知識庫體系和數據管理流程制度體系,使數據資產成果能夠長期持續繼承、迭代和完善。

????????基于治理后形成的全量、標準化、高質量的數據資產,利用數據統計、機器學習、人工智能等大數據相關技術,實現各種微觀、中觀、宏觀尺度的統計、挖掘、分析、預測,為廣大師生、各個業務部門、各級領導提供數據化、智能化的智慧校園服務。

色:為智慧校園提供數據支撐

希嘉數據中臺方案

傳統數據共享中心

全維度覆蓋——大數據能力

◆? 管理信息系統 — 數據庫數據

◆? 線下文檔數據 一 電子表格

◆? 機器設備數據 一 日志數據

◆? 園區智能系統 一 物聯網數據

◆? 外部引入數據 一 互聯網數據

非全量

◆? 管理信息系統——數據庫

高質量數據——完整可信

◆??標準先行 — 規范化數據建模

◆??數據轉換 — 非標數據校正

◆??數據糾錯 — 缺漏數據補正

質量問題被忽略

◆??單一目標 一 共享交換對質量不敏感

◆??維度缺乏 一 無需整合,對標準不敏感

◆??標準缺乏 一 全局一致性較差

◆??數據錯誤缺失未處理

全場景服務——多項全能

◆??一站式服務:提升師生體驗

◆??領導駕駛艙:領導精準決策

◆??學生成長大數據管理:學生因材施教

◆??數據共享、報表輸出:提升部門效率

有限的使用場景

◆??共享交換庫

透明化支付——賦能長效

◆??全套在線可視化軟件,低門檻

◆??完整知識庫文檔,自主管理

◆??數據資源在線管理,自主發布

◆??建設管理制度,治標治本

黑盒交付——難以繼承維護

◆??手工操作 一 難以維護

◆??腳本、代碼 一 難以理解

◆??編程實現 一 難以更新

◆??魚,非漁 一 難以持續


數據和工具成果

交付成果

一、數據成果全量、高質量、標準化

學生管理、招生就業、人事管理、生活服務、教學管理、網絡行為、資產管理、學科建設、科研管理、外部輿情、財務管理......

二、軟件工具體系

統一數據開放平臺、日志處理工具、統一數據倉庫管理系統、數據填報工具、統一數據集成管道、數據糾錯補錄工具、數據智能門戶



知識和管理成果

交付成果

一、校級數據標準

數據倉庫建模標準、標準代碼集

二、知識庫成果

數據資產目錄、數據同步信息、數據接口信息、全量數據字典、數據源信息、數據質量規則庫、數據UC矩陣、數據交換關系

三、管理規范體系

數據標準遵從、數據安全管理職責、數據標準內容管理、應用開發的數據調用規范、數據標準發布更新、數據共享交換規范、權威數據管理責任、數據管理考核體系、數據質量保障要求


浙江6 1走势图