數(shù)據(jù)中臺被譽為大數(shù)據(jù)的下一站,核心思想是數(shù)據(jù)共享。數(shù)據(jù)中臺距離業(yè)務(wù)更近,可以為業(yè)務(wù)提供速度更快的服務(wù)。數(shù)據(jù)中臺將數(shù)據(jù)生產(chǎn)為數(shù)據(jù)API 服務(wù),以更高效的方式提供給業(yè)務(wù),是加速企業(yè)從數(shù)據(jù)到業(yè)務(wù)價值過程的中間層。
數(shù)據(jù)中臺存在哪些數(shù)據(jù)安全隱患?
數(shù)據(jù)中臺天然具有開放性和高效性的特點,強調(diào)效率的同時帶來了不容忽視的數(shù)據(jù)安全隱患。在數(shù)據(jù)中臺中,數(shù)據(jù)全生命周期涉及到的安全風(fēng)險涵蓋了數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲、數(shù)據(jù)處理、交換共享使用五個環(huán)節(jié)。


昂楷新技術(shù)攻克數(shù)據(jù)中臺安全問題
昂楷科技磐石研究院針對國內(nèi)主要的阿里云、華為云數(shù)據(jù)中臺的數(shù)據(jù)特性和業(yè)務(wù)支撐要求:
API類型多,需要兼顧各種場景的數(shù)據(jù)共享;
數(shù)據(jù)量大,每日增量數(shù)據(jù)量大;
業(yè)務(wù)快速響應(yīng),脫敏實時性高;
脫敏工作量巨大,系統(tǒng)承載高等。
集中精力攻克難關(guān),聚焦于這兩類數(shù)據(jù)中臺打造數(shù)據(jù)中臺安全脫敏系統(tǒng),成功實現(xiàn)了阿里云RDS、阿里云Maxcompute、華為云 FusionInsight、華為云GaussDB(DWS)數(shù)據(jù)中臺的數(shù)據(jù)脫敏。云數(shù)據(jù)中臺和數(shù)據(jù)脫敏的架構(gòu)關(guān)系如下圖所示:
云數(shù)據(jù)中臺作為后臺的數(shù)據(jù)資源重組機構(gòu),承擔(dān)著業(yè)務(wù)數(shù)據(jù)向數(shù)據(jù)資產(chǎn)的轉(zhuǎn)化。重整后數(shù)據(jù)價值進(jìn)一步提高,并且可以直接由數(shù)據(jù)資產(chǎn)轉(zhuǎn)化價值資源。所以在中臺部分必須重構(gòu)數(shù)據(jù)安全方案,同時按照數(shù)據(jù)使用的業(yè)務(wù)環(huán)境進(jìn)行目標(biāo)牽引。數(shù)據(jù)脫敏整體方案示意圖如下:
數(shù)據(jù)脫敏支持容器云場景下,通過集群部署架構(gòu),管理多臺脫敏系統(tǒng)實現(xiàn)并行計算、負(fù)載均衡、任務(wù)單元智能分配,以及故障節(jié)點自動接管。針對數(shù)據(jù)中臺業(yè)務(wù)量大的特征,采用多線程技術(shù)優(yōu)化中間過程。
集群部署模式價值點
第一,性能大幅度提升。通過集群部署,增加了脫敏處理的吞吐量,滿足了客戶在有限時間周期內(nèi)大數(shù)據(jù)量脫敏處理的應(yīng)用場景。
第二,系統(tǒng)高可用。彌補了單一脫敏設(shè)備在數(shù)據(jù)處理過程中遇到網(wǎng)絡(luò)環(huán)境異常、設(shè)備異常等突發(fā)事件帶來的任務(wù)中斷,保證系統(tǒng)的高可用性。
脫敏針對云數(shù)據(jù)中臺生命周期過程中的數(shù)據(jù)安全風(fēng)險,主要實現(xiàn)了以下困難問題的解決。
通過多個項目驗證,數(shù)據(jù)脫敏的價值體現(xiàn)如下,最大限度的實現(xiàn)了脫敏工作自動化;多種脫敏算法保留了不同業(yè)務(wù)的數(shù)據(jù)價值;多節(jié)點多線程處理任務(wù), 實現(xiàn)主流數(shù)據(jù)庫脫敏性能提升1倍以上和大數(shù)據(jù)庫組件脫敏性能提升12倍以上,增量數(shù)據(jù)脫敏分鐘級“準(zhǔn)”實時同步,無丟包無失效。




















