導(dǎo)語
數(shù)據(jù)服務(wù)平臺是大數(shù)據(jù)時代的必然產(chǎn)物,是支撐學(xué)校數(shù)據(jù)管理的基礎(chǔ),是以“統(tǒng)一標(biāo)準(zhǔn)”、“統(tǒng)一處理”、“統(tǒng)一交換”、“保證質(zhì)量”、“透明開放”的方式,為不同業(yè)務(wù)系統(tǒng)、不同數(shù)據(jù)庫、不同數(shù)據(jù)格式之間進(jìn)行數(shù)據(jù)交換而提供服務(wù)的平臺。
它包括數(shù)據(jù)治理與數(shù)據(jù)共享交換,通過一套科學(xué)數(shù)據(jù)管理方法,對學(xué)校各業(yè)務(wù)域分散、重復(fù)、混亂的數(shù)據(jù),進(jìn)行梳理、建模、整合、評價、控制,制定數(shù)據(jù)標(biāo)準(zhǔn)和工作規(guī)范,提高數(shù)據(jù)合規(guī)監(jiān)管和安全控制,對數(shù)據(jù)從產(chǎn)生、處理、整合、應(yīng)用、銷毀等全生命周期進(jìn)行管理,從而建立高質(zhì)量的數(shù)據(jù)管理體系和統(tǒng)一的主數(shù)據(jù)庫,支撐各相關(guān)業(yè)務(wù)高效運(yùn)行,實現(xiàn)學(xué)校管理者方便、安全、快速、可靠地利用數(shù)據(jù)進(jìn)決策,因此做好數(shù)據(jù)服務(wù)平臺建設(shè)的工作很重要。
那么
在實際建設(shè)過程中,
數(shù)據(jù)服務(wù)平臺
應(yīng)該重點(diǎn)考慮那幾個方面?
劃
重
點(diǎn)
目前市場上,很多廠商提供的數(shù)據(jù)治理或者共享數(shù)據(jù)交換平臺,以O(shè)DI和Kettle工具居多,并且通常都是單機(jī)模式部署,但是隨著任務(wù)量增多,就容易出現(xiàn)瓶頸,跑出問題,數(shù)據(jù)治理出現(xiàn)誤差,反而不能提高工作效率。
因此,數(shù)據(jù)服務(wù)平臺應(yīng)是基于《信息資源目錄》的分布式服務(wù)(datax,spark),將學(xué)校信息資源依據(jù)規(guī)范的數(shù)據(jù)描述,按照一定的分類方法進(jìn)行排序的一組信息,用以描述學(xué)校各個信息資源的特征,以便于對全校信息資源的檢索、定位與獲取,為學(xué)校數(shù)據(jù)共享提供支持與指導(dǎo),datax,spark徹底解決了ODI和Kettle單機(jī)模式下的瓶頸問題。
2、如何有效減少人工運(yùn)維量?
傳統(tǒng)的數(shù)據(jù)治理與共享連接方式,需要將數(shù)據(jù)采集到中心庫統(tǒng)一供數(shù),極大增加運(yùn)維工作量。
數(shù)據(jù)服務(wù)平臺的連接方式則依托數(shù)據(jù)項的組合進(jìn)行資源目錄的發(fā)布,實現(xiàn)任意兩點(diǎn)的數(shù)據(jù)同步,并在同步過程中執(zhí)行治理,實現(xiàn)的數(shù)據(jù)聯(lián)動,快速反應(yīng)。
3、如何有效促進(jìn)國標(biāo)/校標(biāo)落地?
傳統(tǒng)的數(shù)據(jù)治理或者共享交換解決方案并沒有沒有明確聯(lián)動與體系支撐,數(shù)據(jù)標(biāo)準(zhǔn)跟實際交換數(shù)據(jù)難以關(guān)聯(lián),導(dǎo)致數(shù)據(jù)標(biāo)準(zhǔn)無法落地。
數(shù)據(jù)服務(wù)平臺將國家數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)項(表字段)進(jìn)行關(guān)聯(lián),通過數(shù)據(jù)項與資源目錄管理,可將數(shù)據(jù)治理與數(shù)據(jù)共享交換融合打通,一套流程,便可實現(xiàn)標(biāo)準(zhǔn)的落地。
4、如何進(jìn)行有效的全量數(shù)據(jù)治理?
傳統(tǒng)數(shù)據(jù)治理范圍僅對中心庫(或稱主數(shù)據(jù)庫)內(nèi)容進(jìn)行數(shù)據(jù)治理,數(shù)據(jù)缺失,無法覆蓋全量的學(xué)校數(shù)據(jù),包括學(xué)校歸檔數(shù)據(jù),歷史版本數(shù)據(jù)等。
數(shù)據(jù)服務(wù)平臺則允許全量數(shù)據(jù)(第三方系統(tǒng)數(shù)據(jù)源)在平臺進(jìn)行注冊,并納入到數(shù)據(jù)服務(wù)體系的治理流程中,重新梳理數(shù)據(jù)資產(chǎn),并常態(tài)化監(jiān)控學(xué)校現(xiàn)有數(shù)據(jù)情況。
5、如何解決數(shù)據(jù)故障的準(zhǔn)確定位?
傳統(tǒng)的數(shù)據(jù)申請與數(shù)據(jù)ETL無法使用統(tǒng)一流程進(jìn)行集成管理,數(shù)據(jù)ETL配置頁面需要進(jìn)入原生ODI或Kettle工具進(jìn)行處理,平臺對工具只能進(jìn)行監(jiān)控,不能進(jìn)行管理與任務(wù)的聯(lián)動,導(dǎo)致難以準(zhǔn)確定位數(shù)據(jù)故障環(huán)節(jié),極大增加運(yùn)維工作量。
數(shù)據(jù)服務(wù)平臺則使用先進(jìn)的分布式技術(shù),將數(shù)據(jù)統(tǒng)一集成在一套任務(wù)流程下,通過任務(wù)監(jiān)控可以清晰看到數(shù)據(jù)從采集、ETL、供數(shù)等環(huán)節(jié)的執(zhí)行情況,實現(xiàn)全流程監(jiān)控。
三盟智校蘋果版APP
三盟智校安卓版APP
官方微信