國網黑龍江電力以數(shù)字化示范為契機,率先利用人工智能平臺識別數(shù)據(jù)深層次關系,自動形成數(shù)據(jù)中臺貼源層各表之間的關系圖譜,并利用算法模型發(fā)現(xiàn)數(shù)據(jù)異常情況,挖掘出新的數(shù)據(jù)質量核對規(guī)則,有效的提高了數(shù)據(jù)質量。

一是數(shù)據(jù)關系自動識別?；诠緮?shù)據(jù)中臺貼源層數(shù)據(jù),通過字段特征識別、數(shù)據(jù)抽樣比較等算法,自動識別數(shù)據(jù)中臺現(xiàn)有數(shù)據(jù)之間的拓撲關系,為后續(xù)數(shù)據(jù)質量比對奠定基礎。

二是構建數(shù)據(jù)質量模型。設計了多套有監(jiān)督及無監(jiān)督數(shù)據(jù)質量算法模型,并開展了模型驗證工作,通過模型自動發(fā)現(xiàn)數(shù)據(jù)質量疑似問題。采用了線性回歸、支持向量機和決策樹等模型,通過深度學習進行模型集訓練,監(jiān)測單字段間和字段與字段間的異常數(shù)據(jù),降低誤差。

三是對數(shù)據(jù)質量問題進行確認和完善。通過數(shù)據(jù)主人視圖模塊,將疑似數(shù)據(jù)質量問題直接推送至數(shù)據(jù)主人視圖,并通過獎勵的方式讓數(shù)據(jù)主人對疑似數(shù)據(jù)質量問題進行確認,對于確認較快的數(shù)據(jù)進行額外獎勵。人工智能數(shù)據(jù)治理模塊上線以來,訓練、擬合數(shù)據(jù)內部規(guī)律得到了數(shù)據(jù)模型9個,發(fā)現(xiàn)了13種數(shù)據(jù)質量核查規(guī)則,確認3.9萬個數(shù)據(jù)質量問題,有效提升了公司數(shù)據(jù)質量。

本文轉載自中國能源網，內容均來自于互聯(lián)網，不代表本站觀點，內容版權歸屬原作者及站點所有，如有對您造成影響，請及時聯(lián)系我們予以刪除！